Killer robots

El mundo tiene que tomar una decisión muy importante sobre el futuro de los conflictos armados. Eso no se debe al movimiento político creciente contra las armas autónomas. Veintiocho países han pedido en la ONU que prohíba estas armas de manera preventiva. Recientemente, el Parlamento Europeo votó a favor de esta prohibición y el ministro de Asuntos Exteriores alemán, Heiko Maas, reclamó la colaboración internacional para la regulación de las armas autónomas. Y la misma semana que Maas hizo un llamamiento a la acción, Japón dio apoyo a los esfuerzos internacionales por regular la producción de armas autónomas letales a las Naciones Unidas.

A finales del 2018, António Guterres, secretario general de las Naciones Unidas, en su discurso ante la Asamblea General hizo una dura advertencia:

«La preocupación por la militarización de la inteligencia artificial va en aumento. La posibilidad de que haya armas que puedan seleccionar y atacar un objetivo por sí solas dispara muchas alarmas y podría provocar nuevas carreras armamentistas. Una menor supervisión de las armas tiene consecuencias para nuestros intentos de contener las amenazas, prevenir la escalada de los conflictos y respetar el derecho internacional humanitario y de los derechos humanos. Expliquémoslo tal como es. La posibilidad de que haya máquinas con discreción y poder para llevarse vidas humanas es moralmente repugnante».

No, no es esta inquietud política creciente la que explica la decisión crucial a que se enfrenta el planeta. Ni tampoco lo hace el creciente movimiento de la sociedad civil contra estas armas. La Campaign to Stop Killer Robots (campaña para la prohibición de los robots asesinos), por ejemplo, agrupan más cien organizaciones no gubernamentales, como Human Rights Watch, que reclaman vehementemente la regulación.

Tampoco lo hace la presión de estas ONG para tomar medidas. Ni la creciente preocupación de la sociedad. Según una encuesta reciente de Ipsos, la oposición a las armas autónomas ha crecido un 10% los últimos dos años, ya que cada vez hay más conocimiento del tema.

Seis de cada diez personas encuestadas en 26 países se oponían firmemente al uso de armas autónomas. En España, por ejemplo, el 65% de las personas encuestadas se oponía firmemente, delante de un 20% que estaba a favor de su uso. La oposición y el apoyo a las armas autónomas era similar a Francia, Alemania y otros países europeos.

No, el motivo por cual hoy tenemos que tomar una decisión crucial sobre el futuro de los conflictos armados es que la tecnología para construir armas autónomas ya está a punto para salir del laboratorio de investigación (aviso: el lugar en el que yo trabajo) y ser aplicada por los fabricantes de armas de todo el mundo.

En marzo del 2019, por ejemplo, vimos cómo la Real Bastante Aérea Australiana anunciaba una colaboración con Boeing para crear un vehículo de combate aéreo no tripulado, un «compañero» leal para que el combate aéreo dé un paso más hacia la letalidad. La misma semana, el ejército de los EE.UU. presentó el ATLAS, el Advanced Targeting and Lethality Automated System (sistema automático avanzado de selección y letalidad), que será un tanque robot. La marina de los EE.UU. también anunció que su primer barco no tripulado, el Sea Hunter, había hecho un viaje récord de Hawai a la costa californiana sin intervención humana.

Lamentablemente, el mundo será un gar mucho peor si, dentro de una década, los militares de todo el mundo utilizan estos sistemas de armas autónomas letales (LAWS, por sus siglas en inglés) y no hay ninguna ley que los regule.

El mundo será un gar mucho peor si, dentro de una década, los militares de todo el mundo utilizan estos sistemas de armas autónomas letales y no hay ninguna ley que los regule.

Los medios prefieren utilizar el término robot asesino que una expresión enrevesada como arma autónoma letal. Pero el problema del término robot asesino que frecuenta los medios es que evoca la imagen de Terminator. Y no es Terminator el que nos preocupa, ni a mí ni a los millares de colegas que trabajan en inteligencia artificial (IA). Ahora mismo, se anuncian tecnologías mucho más sencillas.

Fijémonos en un dron Predator. Es un arma semiautónoma. Puede volar por sí solo casi todo el rato. Sin embargo, sigue siendo un soldado, habitualmente desde un cubículo en Nevada, quien tiene el control. Y muy importante, sigue siendo un soldado quien toma la última decisión de vida o muerte sobre si tiene que disparar uno de sus misiles Hellfire.

Pero sustituir a este soldado por un ordenador es un paso técnico pequeño. De hecho, hoy es técnicamente posible. Y tan pronto como fabricamos estas armas autónomas sencillas se producirá una carrera armamentista para fabricar versiones cada vez más sofisticadas. De hecho, podemos ver que esta carrera armamentista ya ha empezado. Para cada medio, el aire, la tierra, sobre y bajo el mar, se están desarrollando prototipos de armas autónomas.

Eso será nefasto para los conflictos armados, pero no es inevitable. En realidad, podemos escoger si seguimos esta vía. Desde hace más de cinco años, yo mismo y miles de colegas, a otros investigadores de IA y de robótica, estamos advirtiendo sobre estos avances peligrosos. Se nos han unido los fundadores de empresas del sector de la IA y la robótica, premios Nobel, líderes religiosos, políticos y muchos miembros de la sociedad.

Desde una perspectiva estratégica, las armas autónomas son un sueño militar. Permiten adaptar sus operaciones sin las limitaciones de los efectivos. Un programador puede controlar centenares de armas autónomas. Eso industrializará el conflicto armado. Las armas autónomas harán aumentar sustancialmente las opciones estratégicas. Con eso las personas no quedarán tan expuestas y se abrirá la oportunidad de emprender las misiones más arriesgadas. Lo podríamos denominar la guerra 4.0.

Sin embargo, hay muchos motivos para qué el sueño militar de las armas autónomas letales se convierta en una pesadilla. Primero de todo, hay un argumento moral sólido contra los robots asesinos. Si cedemos a una máquina la decisión de sí una persona tiene que vivir o no, dejamos de lado una parte esencial de nuestra humanidad. Las máquinas no tienen emociones, compasión ni empatía. ¿Así pues, las máquinas son aptas para decidir quién vive y quién muere?

Construir una bomba nuclear exige sofisticación técnica. Hacen falta los recursos de un estado nación y acceso a material físil. Hacen falta físicos e ingenieros cualificados. Por eso, las armas nucleares no han proliferado mucho. Las armas autónomas no necesitan nada de eso.

Más allá de los argumentos morales, hay muchos motivos técnicos y jurídicos para preocuparse por los robots asesinos. A mi parecer, uno de los más sólidos es que revolucionarán los conflictos armados. Las armas autónomas provocarán una gran destrucción. Antes, si se quería hacer daño, se tenía que tener un ejército de soldados para hacer la guerra. Se tenía que convencer a este ejército de seguir vuestras órdenes. Se tenían que formar, alimentar y pagar. Ahora un solo programador podría controlar centenares de armas.

Las armas autónomas letales son más alarmantes, en cierta manera, que las armas nucleares. Construir una bomba nuclear exige sofisticación técnica. Hacen falta los recursos de un estado nación y acceso a material físil. Hacen falta físicos e ingenieros cualificados. Por eso, las armas nucleares no han proliferado mucho. Las armas autónomas no necesitan nada de eso.

Las armas autónomas serán armas del terror perfectas. ¿Os podéis imaginar qué miedo sentiremos cuando nos persiga a un ejército de drones autónomos? Caerán en las manos de terroristas y estados bellacos que no tendrán ningún escrúpulo para dirigirlos contra la población civil. De hecho, serán un arma ideal para eliminar la población civil. A diferencia de los seres humanos, no dudarán a cometer atrocidades, incluso un genocidio.

Quizás os sorprenda, pero no todo el mundo está de acuerdo con la idea de que el mundo sería un lugar mejor si se prohibieran los robots asesinos. «Los robots serán mejores en la guerra que los seres humanos», afirman. «Que los robots luchen entre ellos y que los seres humanos no intervengan». A pesar de todo, estos argumentos no resisten un escrutinio riguroso, en opinión mía y de muchos de mis colegas que trabajan en el ámbito de la IA y la robótica. A continuación expongo las cinco objeciones principales a la prohibición de los robots asesinos y explico por qué son erróneas.

Objeción 1. Los robots serán más eficaces que los seres humanos

Seguro que serán más eficientes. No necesitarán dormir. No necesitarán tiempo para descansar y recuperarse. No necesitarán planes de formación de larga duración. No los afectarán al frío ni el calor extremos. En resumen, serán los soldados ideales. Pero no serán más eficaces. En los Drone Papers, los documentos de seguridad nacional de los EE.UU. que se filtraron hace poco, se sugiere que casi nueve de cada diez personas muertas en ataques con drones no eran el objetivo deseado. Y en este caso todavía hay un ser humano que está al corriente y toma la última decisión de vida o muerte.

Las estadísticas serán mucho peores si sustituimos a este ser humano por un ordenador. Los robots asesinos también serán más eficientes a la hora de matarnos. Sin duda los terroristas y los estados bellacos los utilizarán contra nosotros. Es evidente que si no los prohíben habrá una carrera armamentista. No es exagerado sugerir que esta será la próxima gran revolución en los conflictos armados, después de la pólvora y las bombas nucleares. La historia de los conflictos armados es, sobre todo, la de quien puede matar los del otro bando con más eficiencia. Y eso nunca ha sido bueno para la humanidad.

Objeción 2. Los robots serán más éticos

En el fragor de la batalla, los seres humanos han cometido muchas atrocidades. Y los robots se pueden programar para seguir unas reglas concretas. No obstante, no tiene ni pies ni cabeza pensar que sabemos construir robots éticos. Los investigadores de la IA como yo nada más hemos empezado a preocuparnos por cómo se podría programar un robot para que tenga un comportamiento ético. Tardaremos muchos años en conseguirlo y, aunque lo hacemos, no conocemos ningún ordenador que no se pueda hackear para que actúe de maneras no deseadas. Hoy día los robots no pueden hacer las distinciones que las leyes internacionales de la guerra exigen: distinguir entre combatientes y civiles, actuar con proporcionalidad, etc. Es probable que la guerra con robots sea mucho más desagradable que la guerra que hacemos hoy.

Objeción 3. Los robots sólo pueden luchar contra robots

Sustituir a los seres humanos por robots en un lugar peligroso como el campo de batalla puede parecer una buena idea. Sin embargo, también es rocambolesco suponer que podríamos hacer que los robots lucharan sólo contra otros robots. No hay una parte aislada del mundo que se llame «campo de batalla». Hoy las guerras se luchan en los pueblos y en las ciudades y algunos civiles infortunados quedan atrapados en medio del fuego cruzado. Tristemente, el mundo lo está viendo en Siria y en otros lugares. Hoy nuestros enemigos suelen ser terroristas y estados bellacos. No participarán en un combate entre robots. De hecho, se argumenta que el terror desencadenado a distancia por los drones seguramente ha agravado los múltiples conflictos actuales.

Objeción 4. Estos robots ya existen y los necesitamos

No me supone un problema reconocer que una tecnología como Phalanx, el sistema antimisil autónomo que encontramos en muchos barcos, es positiva. No tenéis tiempo de tomar una decisión humana mientras os defendéis de un misil supersónico que se acerca. Pero el Phalanx es un sistema de defensa. Ni mis colegas ni yo pedimos que se prohíban los sistemas de defensa. Sólo pedimos que se prohíban los sistemas autónomos de ataque, como el robot de vigilancia Samsung que actualmente está activo en la zona desmilitarizada entre las dos Coreas. Este robot matará a cualquier persona que pise la zona desmilitarizada desde una distancia de cuatro kilómetros con una precisión letal. No hay motivo para no poder prohibir un sistema militar que ya existe. En realidad, prácticamente todas las prohibiciones, como las de las armas químicas o las bombas cluster, se aplican a sistemas militares que no sólo existen, sino que se han utilizado a la guerra.

Objeción 5. Prohibir armas no funciona

La historia contradiría este argumento. Gracias al protocolo de las Naciones Unidas sobre armas láser cegadoras (1998), estas armas diseñadas para provocar la ceguera permanente quedaron fuera del campo de batalla. Si hoy vais a Siria, o a cualquier otra de las zonas en guerra del mundo, no encontraréis esta arma y ninguna compañía armamentista del mundo os venderá. No se puede desinventar la tecnología que hay detrás de las armas láser cegadoras, pero están lo bastante estigmatizadas para que las compañías armamentistas se hayan mantenido alejadas.

Espero que se estigmatice las armas autónomas de una manera parecida. No podremos desinventar la tecnología, pero podemos estigmatizarlas bastante para que los robots no se militaricen. Incluso una prohibición parcialmente efectiva podría valer la pena. Las minas antipersona todavía existen a pesar del Tratado de Ottawa de 1997, pero se han destruido cuarenta millones. Eso ha hecho que el mundo sea un lugar más seguro y que muchos menos niños pierdan la vida o una extremidad.

No podremos desinventar la tecnología, pero podemos estigmatizarlas bastante para que los robots no se militaricen.

La IA y la robótica pueden ser útiles para múltiples grandes propósitos. La misma tecnología servirá para los coches sin conductor y para un dron autónomo. Además, se prevé que cada año los coches sin conductor evitarán a 30.000 muertes en carretera en los Estados Unidos. Harán que las carreteras, las fábricas, las minas y los puertos sean más seguros y eficientes. Harán que tengamos una vida más saludable, más rica y más feliz. En el contexto militar, la IA tiene muchos buenos usos. Los robots se pueden utilizar para limpiar campos de minas, transportar provisiones por rutas peligrosas y mover montañas de inteligencia de señales. Pero no se tienen que utilizar para matar.

Esta cuestión nos deja en una situación complicada. Creo que se tiene que considerar moralmente inaceptable que las máquinas decidan quién vive y quién muere. Así, nos podemos salvar y salvar a nuestros hijos de este futuro terrible.

En julio de 2015 ayudé a redactar una carta abierta a las Naciones Unidas en que se reclamaban medidas y que firmaron miles de mis colegas, otros investigadores de la IA. La carta se hizo pública al principio de la conferencia internacional sobre IA más importante que existe. Lamentablemente, las inquietudes que exponíamos en esta carta todavía se tienen que tratar. De hecho, se han vuelto todavía más urgentes.

Carta abierta del 2015 firmada por miles de investigadores de la IA

Las armas autónomas seleccionan y atacan objetivos sin la intervención humana. Estas armas son, por ejemplo, los cuadricópteros armados que pueden buscar y eliminar personas que cumplan unos determinados criterios predefinidos, pero no los misiles de crucero o los drones teledirigidos en que los seres humanos toman todas las decisiones. La tecnología de la inteligencia artificial (IA) ha llegado a un punto en que la implantación de estos sistemas es —virtualmente, si no legalmente— factible dentro de unos años, no décadas, y nos jugamos mucho: las armas autónomas se han descrito como la tercera revolución en los conflictos armados, después de la pólvora y las armas nucleares.
Se han expuesto muchos argumentos a favor y en contra de las armas autónomas, como que sustituir a los soldados humanos por máquinas es positivo porque se reduce el número de bajas, pero negativo porque se rebaja el umbral para ir a la guerra. Hoy la cuestión clave para la humanidad es si se tiene que iniciar una carrera armamentista de la IA a escala mundial o si se tiene que impedir que empiece. Si una gran potencia militar avanza en la creación de armas con IA, la carrera armamentista mundial es prácticamente inevitable y el final de este recorrido tecnológico es evidente: las armas autónomas se convertirán en los kalashnikovs de mañana.
A diferencia de las armas nucleares, no requieren materias primas caras o difíciles de obtener, de manera que se extenderán y a las potencias militares importantes les resultará barato producirlas en masa. Sólo será cuestión de tiempo que aparezcan en el mercado negro y caigan en manos de terroristas, dictadores que quieran controlar mejor su población, señores de la guerra que quieran perpetrar una limpieza étnica, etc. Las armas autónomas son ideales para acciones como cometer asesinatos, desestabilizar estados, someter poblaciones y matar selectivamente un grupo étnico en concreto. Por eso, consideramos que la carrera armamentista militar de la IA no es beneficiosa para la humanidad. Hay muchas maneras en que la IA puede hacer que los campos de batalla sean más seguros para las personas, especialmente la población civil, sin crear instrumentos nuevos para matar a la gente.
De la misma manera que la mayoría de químicos y biólogos no tiene ningún interés en crear armas químicas o biológicas, la mayoría de investigadores de la IA no tiene ningún interés en crear armas con IA ni quiere que otros manchen su ámbito de estudio haciéndolo. Eso podría provocar una fuerte respuesta de la sociedad contra la IA que limitaría los futuros beneficios sociales. De hecho, químicos y biólogos han dado un amplio apoyo a los acuerdos internacionales que han conseguido prohibir las armas químicas y biológicas, de la misma manera que una gran parte de los físicos ha dado apoyo a los tratados que prohíben las armas nucleares espaciales y las armas láser cegadoras.
En resumen, creemos que la IA tiene un gran potencial para beneficiar la humanidad de muchas maneras y que este tiene que ser el objetivo de esta disciplina. Iniciar una carrera armamentista militar de IA es mala idea y se tiene que impedir prohibiendo las armas autónomas de ataque sin un control humano significativo.

Os animo a uniros a la campaña mundial para hacer que el mundo sea un lugar mejor con la prohibición de estas armas.