Killer robots

El món ha de prendre una decisió molt important sobre el futur dels conflictes armats. Això no es deu al moviment polític creixent contra les armes autònomes. Vint-i-vuit països han demanat a l’ONU que prohibeixi aquestes armes de manera preventiva. Recentment, el Parlament Europeu va votar a favor d’aquesta prohibició i el ministre d’Afers Exteriors alemany, Heiko Maas, va reclamar la col·laboració internacional per a la regulació de les armes autònomes. I la mateixa setmana que Maas va fer una crida a l’acció, el Japó va donar suport als esforços internacionals per regular la producció d’armes autònomes letals a les Nacions Unides.

A finals del 2018, António Guterres, secretari general de les Nacions Unides, en el seu discurs davant l’Assemblea General va fer una dura advertència:

«La preocupació per la militarització de la intel·ligència artificial va en augment. La possibilitat que hi hagi armes que puguin seleccionar i atacar un objectiu per si soles dispara moltes alarmes i podria provocar noves curses armamentistes. Una menor supervisió de les armes té conseqüències per als nostres intents de contenir les amenaces, prevenir l’escalada dels conflictes i respectar el dret internacional humanitari i dels drets humans. Expliquem-ho tal com és. La possibilitat que hi hagi màquines amb discreció i poder per endur-se vides humanes és moralment repugnant».

No, no és aquesta inquietud política creixent la que explica la decisió crucial a què s’enfronta el planeta. Ni tampoc ho fa el creixent moviment de la societat civil contra aquestes armes. La Campaign to Stop Killer Robots (campanya per a la prohibició dels robots assassins), per exemple, agrupa més de cent organitzacions no governamentals, com ara Human Rights Watch, que en reclamen vehementment la regulació.

Tampoc no ho fa la pressió d’aquestes ONG per prendre mesures. Ni la creixent preocupació de la societat. Segons una enquesta recent d’Ipsos, l’oposició a les armes autònomes ha crescut un 10% els últims dos anys, ja que cada cop hi ha més coneixement del tema.

Sis de cada deu persones enquestades a 26 països s’oposaven fermament a l’ús d’armes autònomes. A Espanya, per exemple, el 65% de les persones enquestades s’hi oposava fermament, davant d’un 20% que estava a favor del seu ús. L’oposició i el suport a les armes autònomes era similar a França, Alemanya i altres països europeus.

No, el motiu per qual avui hem de prendre una decisió crucial sobre el futur dels conflictes armats és que la tecnologia per construir armes autònomes ja està a punt per sortir del laboratori de recerca (avís: on jo treballo) i ser aplicada pels fabricants d’armes d’arreu del món.

El març del 2019, per exemple, vam veure com la Reial Força Aèria Australiana anunciava una col·laboració amb Boeing per crear un vehicle de combat aeri no tripulat, un «company» lleial perquè el combat aeri faci un pas més cap a la letalitat. La mateixa setmana, l’exèrcit dels EUA va presentar l’ATLAS, l’Advanced Targeting and Lethality Automated System (sistema automàtic avançat de selecció i letalitat), que serà un tanc robot. La marina dels EUA també va anunciar que el seu primer vaixell no tripulat, el Sea Hunter, havia fet un viatge rècord de Hawaii a la costa californiana sense intervenció humana.

Lamentablement, el món serà un lloc molt pitjor si, d’aquí a una dècada, els militars d’arreu del món fan servir aquests sistemes d’armes autònomes letals (LAWS, per les sigles en anglès) i no hi ha cap llei que els reguli.

El món serà un lloc molt pitjor si, d’aquí a una dècada, els militars d’arreu del món fan servir aquests sistemes d’armes autònomes letals i no hi ha cap llei que els reguli

Els mitjans prefereixen fer servir el terme robot assassí que una expressió enrevessada com arma autònoma letal. Però el problema del terme robot assassí que sovinteja als mitjans és que evoca la imatge de Terminator. I no és Terminator el que ens preocupa, ni a mi ni als milers de col·legues que treballen en intel·ligència artificial (IA). Ara mateix, s’anuncien tecnologies molt més senzilles.

Fixem-nos en un dron Predator. És una arma semiautònoma. Pot volar per si sol gairebé tota l’estona. Tanmateix, continua sent un soldat, habitualment des d’un cubicle a Nevada, qui en té el control. I, molt important, continua sent un soldat qui pren l’última decisió de vida o mort sobre si ha de disparar un dels seus míssils Hellfire.

Però substituir aquest soldat per un ordinador és un pas tècnic petit. De fet, avui és tècnicament possible. I tan bon punt fabriquem aquestes armes autònomes senzilles es produirà una cursa armamentista per fabricar-ne versions cada vegada més sofisticades. De fet, podem veure que aquesta cursa armamentista ja ha començat. Per a cada medi, l’aire, la terra, sobre i sota el mar, s’estan desenvolupant prototipus d’armes autònomes.

Això serà nefast per als conflictes armats, però no és inevitable. En realitat, podem escollir si seguim aquesta via. Des de fa més de cinc anys, jo mateix i milers de col·legues, altres investigadors d’IA i de robòtica, estem advertint sobre aquests avenços perillosos. Se’ns han unit els fundadors d’empreses del sector de la IA i la robòtica, premis Nobel, líders religiosos, polítics i molts membres de la societat.

Des d’una perspectiva estratègica, les armes autònomes són un somni militar. Permeten adaptar les seves operacions sense les limitacions dels efectius. Un programador pot controlar centenars d’armes autònomes. Això industrialitzarà el conflicte armat. Les armes autònomes faran augmentar substancialment les opcions estratègiques. Amb això les persones no quedaran tan exposades i s’obrirà l’oportunitat d’emprendre les missions més arriscades. Ho podríem anomenar la guerra 4.0.

Tanmateix, hi ha molts motius per què el somni militar de les armes autònomes letals esdevingui un malson. Primer de tot, hi ha un argument moral sòlid contra els robots assassins. Si cedim a una màquina la decisió de si una persona ha de viure o no, deixem de banda una part essencial de la nostra humanitat. Les màquines no tenen emocions, compassió ni empatia. Així doncs, les màquines són aptes per decidir qui viu i qui mor?

Construir una bomba nuclear exigeix sofisticació tècnica. Fan falta els recursos d’un estat nació i accés a material físsil. Calen físics i enginyers qualificats. Per això, les armes nuclears no han proliferat gaire. Les armes autònomes no necessiten res d’això

Més enllà dels arguments morals, hi ha molts motius tècnics i jurídics per preocupar-se pels robots assassins. Al meu parer, un dels més sòlids és que revolucionaran els conflictes armats. Les armes autònomes provocaran una gran destrucció. Abans, si volíeu fer mal, havíeu de tenir un exèrcit de soldats per fer la guerra. Havíeu de convèncer aquest exèrcit de seguir les vostres ordres. Havíeu de formar-los, alimentar-los i pagar-los. Ara un sol programador podria controlar centenars d’armes.

Les armes autònomes letals són més alarmants, en certa manera, que les armes nuclears. Construir una bomba nuclear exigeix sofisticació tècnica. Fan falta els recursos d’un estat nació i accés a material físsil. Calen físics i enginyers qualificats. Per això, les armes nuclears no han proliferat gaire. Les armes autònomes no necessiten res d’això.

Les armes autònomes seran armes del terror perfectes. Us podeu imaginar quina por sentirem quan ens persegueixi un exèrcit de drons autònoms? Cauran en les mans de terroristes i estats brètols que no tindran cap escrúpol per dirigir-los contra la població civil. De fet, seran una arma ideal per eliminar la població civil. A diferència dels éssers humans, no dubtaran a cometre atrocitats, fins i tot un genocidi.

Potser us sorprèn, però no tothom està d’acord amb la idea que el món seria un lloc millor si es prohibissin els robots assassins. «Els robots seran millors a la guerra que els éssers humans», afirmen. «Que els robots lluitin entre ells i que els éssers humans no hi intervinguin.» Malgrat tot, aquests arguments no resisteixen un escrutini rigorós, en opinió meva i de molts dels meus col·legues que treballen en l’àmbit de la IA i la robòtica. A continuació exposo les cinc objeccions principals a la prohibició dels robots assassins i explico per què són errònies.

Objecció 1. Els robots seran més eficaços que els éssers humans

Segur que seran més eficients. No necessitaran dormir. No necessitaran temps per descansar i recuperar-se. No necessitaran plans de formació de llarga durada. No els afectaran el fred ni la calor extrems. En resum, seran els soldats ideals. Però no seran més eficaços. En els Drone Papers, els documents de seguretat nacional dels EUA que es van filtrar fa poc, se suggereix que gairebé nou de cada deu persones mortes en atacs amb drons no eren l’objectiu desitjat. I en aquest cas encara hi ha un ésser humà que està al cas i pren l’última decisió de vida o mort.

Les estadístiques seran molt pitjors si substituïm aquest ésser humà per un ordinador. Els robots assassins també seran més eficients a l’hora de matar-nos. Sens dubte els terroristes i els estats brètols els utilitzaran contra nosaltres. És evident que si no els prohibeixen hi haurà una cursa armamentista. No és exagerat suggerir que aquesta serà la propera gran revolució en els conflictes armats, després de la pólvora i les bombes nuclears. La història dels conflictes armats és, sobretot, la de qui pot matar els de l’altre bàndol amb més eficiència. I això mai no ha estat bo per a la humanitat.

Objecció 2. Els robots seran més ètics

En el fragor de la batalla, els éssers humans han comès moltes atrocitats. I els robots es poden programar per seguir unes regles concretes. Això no obstant, no té ni cap ni peus pensar que sabem construir robots ètics. Els investigadors de la IA com jo tot just hem començat a preocupar-nos per com es podria programar un robot perquè tingui un comportament ètic. Trigarem molts anys a aconseguir-ho i, encara que ho fem, no coneixem cap ordinador que no es pugui hackejar perquè actuï de maneres no desitjades. Avui dia els robots no poden fer les distincions que les lleis internacionals de la guerra exigeixen: distingir entre combatents i civils, actuar amb proporcionalitat, etc. És probable que la guerra amb robots sigui molt més desagradable que la guerra que lliurem avui.

Objecció 3. Els robots només poden lluitar contra robots

Substituir els éssers humans per robots en un lloc perillós com el camp de batalla pot semblar una bona idea. Tanmateix, també és rocambolesc suposar que podríem fer que els robots lluitessin només contra altres robots. No hi ha una part aïllada del món que s’anomeni «camp de batalla». Avui les guerres es lluiten als pobles i a les ciutats i alguns civils infortunats queden atrapats enmig del foc creuat. Tristament, el món ho està veient a Síria i a altres llocs. Avui els nostres enemics solen ser terroristes i estats brètols. No participaran en un combat entre robots. De fet, s’argumenta que el terror desencadenat a distància pels drons segurament ha agreujat els múltiples conflictes actuals.

Objecció 4. Aquests robots ja existeixen i els necessitem

No em fa res reconèixer que una tecnologia com Phalanx, el sistema antimíssils autònom que trobem a molts vaixells, és positiva. No teniu temps de prendre una decisió humana mentre us defenseu d’un míssil supersònic que s’apropa. Però el Phalanx és un sistema de defensa. Ni els meus col·legues ni jo no demanem que es prohibeixin els sistemes de defensa. Només demanem que es prohibeixin els sistemes autònoms d’atac, com el robot de vigilància Samsung que actualment està actiu a la zona desmilitaritzada entre les dues Corees. Aquest robot matarà qualsevol persona que trepitgi la zona desmilitaritzada des d’una distància de quatre quilòmetres amb una precisió letal. No hi ha motiu per no poder prohibir un sistema militar que ja existeix. En realitat, pràcticament totes les prohibicions, com les de les armes químiques o les bombes clúster, s’apliquen a sistemes militars que no només existeixen, sinó que s’han fet servir a la guerra.

Objecció 5. Prohibir armes no funciona

La història contradiria aquest argument. Gràcies al protocol de les Nacions Unides sobre armes làser encegadores (1998), aquestes armes dissenyades per provocar la ceguesa permanent van quedar fora del camp de batalla. Si avui aneu a Síria, o a qualsevol altra de les zones en guerra del món, no hi trobareu aquesta arma i cap companyia armamentista del món no us en vendrà. No es pot desinventar la tecnologia que hi ha darrere les armes làser encegadores, però estan prou estigmatitzades perquè les companyies armamentistes se n’hagin mantingut allunyades.

Espero que s’estigmatitzi les armes autònomes d’una manera semblant. No podrem desinventar la tecnologia, però podem estigmatitzar-les prou perquè els robots no es militaritzin. Fins i tot una prohibició parcialment efectiva podria valer la pena. Les mines antipersones encara existeixen malgrat el Tractat d’Ottawa del 1997, però se n’han destruït quaranta milions. Això ha fet que el món sigui un lloc més segur i que molts menys infants perdin la vida o una extremitat.

No podrem desinventar la tecnologia, però podem estigmatitzar-les prou perquè els robots no es militaritzin

La IA i la robòtica poden ser útils per a molts grans propòsits. La mateixa tecnologia servirà per als cotxes sense conductor i per a un dron autònom. A més, es preveu que cada any els cotxes sense conductor evitaran 30.000 morts en carretera als Estats Units. Faran que les carreteres, les fàbriques, les mines i els ports siguin més segurs i eficients. Faran que tinguem una vida més saludable, més rica i més feliç. En el context militar, la IA té molts bons usos. Els robots es poden utilitzar per netejar camps de mines, transportar provisions per rutes perilloses i moure muntanyes d’intel·ligència de senyals. Però no s’han de fer servir per matar.

Aquesta qüestió ens deixa en una situació complicada. Crec que s’ha de considerar moralment inacceptable que les màquines decideixin qui viu i qui mor. Així, ens podem salvar i salvar els nostres fills d’aquest futur terrible.

El juliol del 2015 vaig ajudar a redactar una carta oberta a les Nacions Unides en què es reclamaven mesures i que van signar milers dels meus col·legues, altres investigadors de la IA. La carta es va fer pública al principi de la conferència internacional sobre IA més important que existeix. Lamentablement, les inquietuds que exposàvem en aquesta carta encara s’han de tractar. De fet, han esdevingut encara més urgents.

Carta oberta del 2015 signada per milers d’investigadors de la IA

Les armes autònomes seleccionen i ataquen objectius sense la intervenció humana. Aquestes armes són, per exemple, els quadricòpters armats que poden buscar i eliminar persones que compleixin uns determinats criteris predefinits, però no els míssils de creuer o els drons teledirigits en què els éssers humans prenen totes les decisions. La tecnologia de la intel·ligència artificial (IA) ha arribat a un punt en què la implantació d’aquests sistemes és —virtualment si no legalment— factible d’aquí a uns anys, no dècades, i ens hi juguem molt: les armes autònomes s’han descrit com la tercera revolució en els conflictes armats, després de la pólvora i les armes nuclears.
S’han exposat molts arguments a favor i en contra de les armes autònomes, com ara que substituir els soldats humans per màquines és positiu perquè es redueix el nombre de baixes però negatiu perquè es rebaixa el llindar per anar a la guerra. Avui la qüestió clau per a la humanitat és si s’ha d’iniciar una cursa armamentista de la IA a escala mundial o si s’ha d’impedir que comenci. Si una gran potència militar avança en la creació d’armes amb IA, la cursa armamentista mundial és pràcticament inevitable i el final d’aquest recorregut tecnològic és evident: les armes autònomes es convertiran en els kalàixnikovs de demà.
A diferència de les armes nuclears, no requereixen matèries primeres cares o difícils d’obtenir, de manera que s’estendran i a les potències militars importants els resultarà barat produir-les en massa. Només serà qüestió de temps que apareguin al mercat negre i caiguin en mans de terroristes, dictadors que vulguin controlar millor la seva població, senyors de la guerra que vulguin perpetrar una neteja ètnica, etc. Les armes autònomes són ideals per a accions com ara cometre assassinats, desestabilitzar estats, sotmetre poblacions i matar selectivament un grup ètnic en concret. Per això, considerem que la cursa armamentista militar de la IA no és beneficiosa per a la humanitat. Hi ha moltes maneres en què la IA pot fer que els camps de batalla siguin més segurs per a les persones, especialment la població civil, sense crear instruments nous per matar la gent.
De la mateixa manera que la majoria de químics i biòlegs no té cap interès a crear armes químiques o biològiques, la majoria d’investigadors de la IA no té cap interès a crear armes amb IA ni vol que altres taquin el seu àmbit d’estudi fent-ho. Això podria provocar una forta resposta de la societat contra la IA que en limitaria els futurs beneficis socials. De fet, químics i biòlegs han donat un ampli suport als acords internacionals que han aconseguit prohibir les armes químiques i biològiques, de la mateixa manera que una gran part dels físics ha donat suport als tractats que prohibeixen les armes nuclears espacials i les armes làser encegadores.
En resum, creiem que la IA té un gran potencial per beneficiar la humanitat de moltes maneres i que aquest ha de ser l’objectiu d’aquesta disciplina. Iniciar una cursa armamentista militar d’IA és mala idea i s’ha d’impedir prohibint les armes autònomes d’atac sense un control humà significatiu.

Us animo a unir-vos a la campanya mundial per fer que el món sigui un lloc millor amb la prohibició d’aquestes armes.