TEl video es muy claro. Dos hombres amenazantes están de pie junto a una camioneta blanca en un campo, sosteniendo controles remotos. Abren las puertas traseras de la furgoneta, y el sonido quejumbroso de los drones cuatricópteros crescendo. Accionan un interruptor, y los drones salen como murciélagos de una cueva. En unos segundos, nos dirigimos a un salón de clases de la universidad. Los robots asesinos entran a raudales a través de las ventanas y respiraderos. Los estudiantes gritan aterrorizados, atrapados dentro, mientras los drones atacan con fuerza mortal. La lección que la película, Slaughterbots, está tratando de impartir es claro: los pequeños robots asesinos están aquí o a un pequeño avance tecnológico de distancia. Los terroristas podrían desplegarlos fácilmente. Y las defensas existentes son débiles o inexistentes.
Algunos expertos militares argumentaron que Slaughterbots – que fue hecho por el Instituto del Futuro de la Vida, una organización que investiga las amenazas existenciales a la humanidad – sensacionaliza un problema serio, avivando el miedo donde se requiere una reflexión tranquila. Pero cuando se trata del futuro de la guerra, la línea entre la ciencia ficción y los hechos industriales es a menudo borrosa. La fuerza aérea estadounidense ha predicho un futuro en el que «los equipos SWAT enviarán insectos mecánicos equipados con cámaras de vídeo para que se arrastren dentro de un edificio durante un enfrentamiento con rehenes». Una «colaboración de microsistemas» ya ha lanzado Octoroach, un «robot extremadamente pequeño con una cámara y un transmisor de radio que puede cubrir hasta 100 metros en el suelo». Es sólo una de las muchas armas «biomiméticas», o que imitan a la naturaleza, que se encuentran en el horizonte.
Quién sabe cuántas otras criaturas nocivas son ahora modelos para los teóricos militares de vanguardia. Una reciente novela de PW Singer y August Cole, ambientada en un futuro próximo en el que los EE.UU. están en guerra con China y Rusia, presentaba una visión caleidoscópica de drones autónomos, láseres y satélites secuestrados. El libro no puede ser considerado como una fantasía tecno-militar: incluye cientos de notas a pie de página que documentan el desarrollo de cada pieza de hardware y software que describe.
Los avances en el modelado de máquinas de matar robóticas no son menos inquietantes. Una historia de ciencia ficción rusa de los años 60, Crabs on the Island, describía una especie de Juegos del Hambre para las Inteligencias Artificiales, en los que los robots luchaban entre sí por los recursos. Los perdedores serían desechados y los ganadores engendrarían, hasta que algunos evolucionaron para ser las mejores máquinas de matar. Cuando un destacado informático mencionó un escenario similar al de la Agencia de Proyectos de Investigación Avanzada de la Defensa de los Estados Unidos (Darpa), llamándolo «Parque Jurásico robot», un líder de allí lo llamó «factible». No hace falta mucha reflexión para darse cuenta de que un experimento así tiene el potencial de descontrolarse. El gasto es el principal impedimento para que una gran potencia experimente con tales máquinas potencialmente destructivas. El modelado de software puede eliminar incluso esa barrera, permitiendo que las simulaciones probadas en batalla virtual inspiren futuras inversiones militares.
En el pasado, los estados nacionales se han unido para prohibir nuevas armas particularmente espantosas o aterradoras. A mediados del siglo XX, las convenciones internacionales prohibieron las armas biológicas y químicas. La comunidad de naciones también ha prohibido el uso de la tecnología de láser cegador. Una sólida red de ONG ha instado con éxito a la ONU a convocar a los Estados miembros para que acuerden una prohibición similar de los robots asesinos y otras armas que pueden actuar por su cuenta, sin control humano directo, para destruir un objetivo (también conocido como sistemas de armas autónomas letales, o Leyes). Y aunque se ha debatido sobre la definición de esa tecnología, todos podemos imaginar algunos tipos de armas particularmente aterradoras que todos los estados deberían acordar no fabricar ni desplegar nunca. Un avión teledirigido que calentara gradualmente a los soldados enemigos hasta la muerte violaría las convenciones internacionales contra la tortura; las armas sónicas diseñadas para destrozar el oído o el equilibrio del enemigo deberían merecer un tratamiento similar. Un país que diseñó y utilizó tales armas debería ser exiliado de la comunidad internacional.
En abstracto, probablemente podemos estar de acuerdo en que el ostracismo – y un castigo más severo – también es merecido por los diseñadores y usuarios de los robots asesinos. La idea misma de una máquina liberada para ser sacrificada es escalofriante. Sin embargo, algunos de los mayores ejércitos del mundo parecen estar avanzando sigilosamente hacia el desarrollo de tales armas, persiguiendo una lógica de disuasión: temen ser aplastados por la IA de sus rivales si no pueden desatar una fuerza igualmente potente. La clave para resolver una carrera armamentística tan intratable puede estar menos en los tratados mundiales que en un replanteamiento cauteloso de para qué puede usarse la IA marcial. Como «la guerra vuelve a casa», el despliegue de fuerza de grado militar en países como los EE.UU. y China es una dura advertencia para sus ciudadanos: cualquier tecnología de control y destrucción que permita a su gobierno comprar para su uso en el extranjero ahora puede ser utilizada en su contra en el futuro.
A¿Realmente los robots asesinos son tan horribles como las armas biológicas? No necesariamente, argumentan algunos teóricos militares y científicos de la informática. Según Michael Schmitt, de la Escuela de Guerra Naval de los Estados Unidos, los robots militares podrían vigilar los cielos para asegurarse de que una matanza como la de Saddam Hussein de kurdos y árabes de los pantanos no vuelva a ocurrir. Ronald Arkin, del Instituto de Tecnología de Georgia, cree que los sistemas de armas autónomas pueden «reducir la inhumanidad del hombre hacia el hombre a través de la tecnología», ya que un robot no estará sujeto a ataques demasiado humanos de ira, sadismo o crueldad. Ha propuesto que se saque a los seres humanos del circuito de decisiones sobre los objetivos, al tiempo que se codifican las limitaciones éticas en los robots. Arkin también ha desarrollado la clasificación de objetivos para proteger sitios como hospitales y escuelas.
En teoría, una preferencia por la violencia de las máquinas controladas en lugar de la imprevisible violencia humana podría parecer razonable. Las masacres que tienen lugar durante la guerra a menudo parecen estar enraizadas en la emoción irracional. Sin embargo, a menudo reservamos nuestra más profunda condena no para la violencia hecha en el calor de la pasión, sino para el asesino premeditado que planeó fríamente su ataque. La historia de la guerra ofrece muchos ejemplos de masacres planeadas con más cuidado. Y seguramente cualquier sistema de armas robóticas es probable que sea diseñado con algún tipo de característica de anulación, que sería controlado por operadores humanos, sujeto a todas las pasiones e irracionalidad humanas normales.
Cualquier intento de codificar la ley y la ética en robots asesinos plantea enormes dificultades prácticas. El profesor de informática Noel Sharkey ha argumentado que es imposible programar un robot guerrero con reacciones a la infinita variedad de situaciones que podrían surgir en el calor del conflicto. Al igual que un coche autónomo que queda indefenso porque la nieve interfiere en sus sensores, un sistema de armas autónomo en la niebla de la guerra es peligroso.
La mayoría de los soldados testificarían que la experiencia cotidiana de la guerra es un largo período de aburrimiento puntuado por repentinos y aterradores episodios de desorden. Estandarizar los relatos de tales incidentes, con el fin de guiar las armas robóticas, podría ser imposible. El aprendizaje automático ha funcionado mejor cuando existe un conjunto masivo de datos con ejemplos claramente entendidos de lo bueno y lo malo, lo correcto y lo incorrecto. Por ejemplo, las compañías de tarjetas de crédito han mejorado los mecanismos de detección de fraudes con análisis constantes de cientos de millones de transacciones, en las que los falsos negativos y los falsos positivos se etiquetan fácilmente con una precisión de casi el 100%. ¿Sería posible «datafy» las experiencias de los soldados en el Iraq, decidiendo si disparar a enemigos ambiguos? Incluso si lo fuera, ¿cuán relevante sería tal conjunto de datos para las ocupaciones de, digamos, Sudán o Yemen (dos de las muchas naciones con algún tipo de presencia militar estadounidense)?
Dadas estas dificultades, es difícil evitar la conclusión de que la idea de máquinas de matar robóticas éticas es poco realista, y es muy probable que apoye peligrosas fantasías de guerras con botones y matanzas sin culpa.
Il derecho internacional humanitario, que rige los conflictos armados, plantea aún más problemas a los fabricantes de armas autónomas. Un principio ético clave de la guerra ha sido el de la discriminación: exigir a los atacantes que distingan entre combatientes y civiles. Sin embargo, la guerra de guerrillas o insurgentes se ha hecho cada vez más común en los últimos decenios, y los combatientes en esas situaciones rara vez llevan uniforme, lo que hace más difícil distinguirlos de los civiles. Dadas las dificultades a las que se enfrentan los soldados humanos a este respecto, es fácil ver el riesgo aún mayor que plantean los sistemas de armas robóticas.
Los defensores de estas armas insisten en que el poder de discriminación de las máquinas sólo está mejorando. Incluso si esto es así, es un gran salto en la lógica para asumir que los comandantes utilizarán estos avances tecnológicos para desarrollar principios justos de discriminación en el fragor y la confusión de la guerra. Como ha escrito el pensador francés Grégoire Chamayou, la categoría de «combatiente» (un objetivo legítimo) ya ha tendido a «diluirse de tal manera que se extiende a cualquier forma de pertenencia, colaboración o presunta simpatía por alguna organización militante».
El principio de distinguir entre combatientes y civiles es sólo una de las muchas leyes internacionales que rigen la guerra. También existe la norma de que las operaciones militares deben ser «proporcionales», es decir, que debe establecerse un equilibrio entre los posibles daños a los civiles y la ventaja militar que podría resultar de la acción. La Fuerza Aérea de los Estados Unidos ha descrito la cuestión de la proporcionalidad como «una determinación intrínsecamente subjetiva que se resolverá caso por caso». Por muy bien que la tecnología vigile, detecte y neutralice las amenazas, no hay pruebas de que pueda aplicar el tipo de razonamiento sutil y flexible que es esencial para la aplicación de leyes o normas incluso ligeramente ambiguas.
Consigue que las premiadas lecturas largas del Guardian te sean enviadas directamente cada sábado por la mañana
Incluso si asumiéramos que los avances tecnológicos podrían reducir el uso de la fuerza letal en la guerra, ¿sería eso siempre algo bueno? Al estudiar la creciente influencia de los principios de derechos humanos en los conflictos, el historiador Samuel Moyn observa una paradoja: la guerra se ha vuelto a la vez «más humana y más difícil de terminar». Para los invasores, los robots evitan a los políticos la preocupación de que las bajas alimenten a la oposición en casa. Con su puño de hierro en el guante de terciopelo de la tecnología avanzada, los aviones no tripulados pueden ejercer una vigilancia suficiente para apaciguar a los ocupantes, evitando al mismo tiempo el tipo de derramamiento de sangre devastador que provocaría una revolución o una intervención internacional.
En esta visión robotizada de «dominación humana», la guerra se parecería cada vez más a una acción policial extraterritorial. Los enemigos serían reemplazados por personas sospechosas sujetas a detención mecanizada en lugar de fuerza letal. Por muy salvador que sea, sugiere Moyn, el enorme diferencial de poder en el corazón de las ocupaciones tecnologizadas no es una base adecuada para un orden internacional legítimo.
Chamayou también es escéptico. En su perspicaz libro «Teoría del Drone, recuerda a los lectores la matanza de 10.000 sudaneses en 1898 por una fuerza anglo-egipcia armada con ametralladoras, que en sí misma sólo sufrió 48 bajas. Chamayou califica al dron como «el arma de la violencia poscolonial amnésica». También pone en duda que los avances en la robótica den como resultado el tipo de precisión que prometen los fanáticos de los robots asesinos. Los civiles son asesinados rutinariamente por drones militares pilotados por humanos. Eliminar esa posibilidad puede suponer un futuro igualmente sombrío en el que los sistemas informáticos lleven a cabo una vigilancia tan intensa de las poblaciones afectadas que puedan evaluar la amenaza que supone cada persona que se encuentre en ellas (y liquidarlas o evitarlas en consecuencia).
Los defensores de los drones dicen que el arma es clave para una guerra más discriminatoria y humana. Pero para Chamayou, «al descartar la posibilidad de combate, el dron destruye la posibilidad misma de cualquier diferenciación clara entre combatientes y no combatientes». La afirmación de Chamayou puede parecer una hipérbole, pero considere la situación sobre el terreno en el Yemen o en el interior de Pakistán: ¿Hay realmente alguna resistencia seria que los «militantes» puedan sostener contra una corriente de cientos o miles de vehículos aéreos no tripulados que patrullan sus cielos? Un entorno tan controlado equivale a una inquietante fusión de guerra y vigilancia policial, despojada de las restricciones y salvaguardias que se han establecido para intentar al menos que estos campos rindan cuentas.
H¿Cómo deberían responder los líderes mundiales a la perspectiva de estas nuevas y peligrosas tecnologías de armas? Una opción es tratar de unirse para prohibir completamente ciertos métodos de matanza. Para entender si tales acuerdos internacionales de control de armas podrían funcionar o no, vale la pena mirar al pasado. La mina terrestre antipersonal, diseñada para matar o mutilar a cualquiera que la pise o se acerque, fue una de las primeras armas automatizadas. Aterrorizó a los combatientes en la primera guerra mundial. Baratas y fáciles de distribuir, las minas siguieron utilizándose en conflictos más pequeños en todo el mundo. En 1994, los soldados habían colocado 100 millones de minas terrestres en 62 países.
Las minas siguieron devastando e intimidando a las poblaciones durante años después de que cesaran las hostilidades. Las víctimas de las minas comúnmente perdieron por lo menos una pierna, a veces dos, y sufrieron laceraciones colaterales, infecciones y traumatismos. En 1994, 1 de cada 236 camboyanos había perdido al menos un miembro por las detonaciones de las minas.
A mediados del decenio de 1990, hubo un creciente consenso internacional sobre la necesidad de prohibir las minas terrestres. La Campaña Internacional para la Prohibición de las Minas Terrestres presionó a los gobiernos de todo el mundo para que las condenaran. Las minas terrestres no son tan mortíferas como muchas otras armas pero, a diferencia de otras aplicaciones de la fuerza, pueden mutilar y matar a los no combatientes mucho tiempo después de terminada la batalla. En 1997, cuando la campaña para prohibir las minas terrestres obtuvo el premio Nobel de la paz, docenas de países firmaron un tratado internacional, con carácter vinculante, en el que se comprometían a no fabricar, almacenar o desplegar dichas minas.
Los EE.UU. se opusieron, y hasta el día de hoy no han firmado la convención contra las armas terrestres. En el momento de las negociaciones, los negociadores de EE.UU. y el Reino Unido insistieron en que la verdadera solución al problema de las minas terrestres era asegurar que todas las minas futuras se apagaran automáticamente después de un período fijo de tiempo, o que tuvieran alguna capacidad de control remoto. Eso significaría que un dispositivo podría apagarse a distancia una vez que las hostilidades cesaran. Por supuesto, también se podría volver a encender.
El solucionismo tecnológico de los EE.UU. encontró pocos partidarios. Para 1998, docenas de países habían firmado el tratado de prohibición de minas. Más países se unieron cada año desde 1998 hasta 2010, incluyendo grandes potencias como China. Mientras que la administración Obama tomó algunas medidas importantes para limitar las minas, el secretario de defensa de Trump las ha revertido. Este giro de 180 grados es solo una faceta de un nacionalismo belicoso que probablemente acelere la automatización de la guerra.
IEn lugar de prohibir los robots asesinos, el estamento militar estadounidense prefiere la regulación. La preocupación por los fallos de funcionamiento, los fallos técnicos u otras consecuencias no deseadas de las armas automatizadas han dado lugar a un discurso comedido de reforma en torno a la robótica militar. Por ejemplo, el PW Singer de la New America Foundation permitiría a un robot hacer «uso autónomo sólo de armas no letales». Así, un robot autónomo podría patrullar un desierto y, por ejemplo, aturdir a un combatiente o envolverlo en una red, pero la «decisión de matar» se dejaría sólo en manos de los humanos. Bajo esta regla, incluso si el combatiente intentaba destruir el dron, el dron no podía destruirlo.
Tales reglas ayudarían a la transición de la guerra al mantenimiento de la paz, y finalmente a una forma de vigilancia. El tiempo que transcurre entre las decisiones de captura y muerte podría permitir el debido proceso necesario para evaluar la culpabilidad y establecer un castigo. Singer también hace hincapié en la importancia de la rendición de cuentas, argumentando que «si un programador hace volar un pueblo entero por error, debería ser procesado penalmente».
Mientras que algunos teóricos militares quieren codificar robots con ética algorítmica, Singer sabiamente se basa en nuestra experiencia de siglos en la regulación de personas. Para garantizar la responsabilidad del despliegue de los «algoritmos de guerra», los militares tendrían que asegurarse de que los robots y los agentes algorítmicos son rastreables e identificados con sus creadores. En el contexto nacional, los estudiosos han propuesto una «matrícula para los drones», para vincular cualquier acción imprudente o negligente con el propietario o el controlador del dron. Tiene sentido que una norma similar -algo como «Un robot debe indicar siempre la identidad de su creador, controlador o propietario»- sirva como norma fundamental de la guerra, y que su violación se castigue con severas sanciones.
Sin embargo, ¿qué probabilidad hay de que los programadores de robots asesinos sean castigados? En 2015, el ejército de EE.UU. bombardeó un hospital en Afganistán, matando a 22 personas. Incluso cuando el bombardeo estaba ocurriendo, el personal del hospital llamó frenéticamente a sus contactos en el ejército de EE.UU. para rogarles que pararan. Los seres humanos han sido directamente responsables de los ataques con drones contra hospitales, escuelas, fiestas de bodas y otros objetivos inapropiados, sin consecuencias proporcionales. La «niebla de la guerra» excusa todo tipo de negligencia. No parece probable que los sistemas jurídicos nacionales o internacionales impongan más responsabilidad a los programadores que causan una carnicería similar.
WLa eapondría siempre ha sido un gran negocio, y una carrera armamentística de la IA promete beneficios a los conocedores de la tecnología y bien conectados políticamente. El asesoramiento contra las carreras de armamentos puede parecer totalmente irreal. Después de todo, las naciones están invirtiendo enormes recursos en aplicaciones militares de la IA, y muchos ciudadanos no lo saben o no les importa. Sin embargo, esa actitud de reposo puede cambiar con el tiempo, a medida que el uso doméstico de la vigilancia de la IA se acelera, y esa tecnología se identifica cada vez más con oscuros aparatos de control, en lugar de con poderes locales democráticamente responsables.
La IA militar y de vigilancia no se usa sólo, ni siquiera principalmente, en enemigos extranjeros. Se ha vuelto a utilizar para identificar y luchar contra los enemigos internos. Mientras que nada como los ataques del 11 de septiembre han surgido durante casi dos décadas en los EE.UU., las fuerzas de seguridad nacional han convertido silenciosamente las herramientas antiterroristas contra los delincuentes, los fraudes de seguros e incluso los manifestantes. En China, el gobierno ha exagerado la amenaza del «terrorismo musulmán» para acorralar a un porcentaje considerable de sus uigures en campos de reeducación e intimidar a otros con constantes inspecciones telefónicas y perfiles de riesgo. Nadie debería sorprenderse de que algunos equipos chinos alimenten un aparato de inteligencia nacional de los EE.UU., mientras que las grandes empresas de tecnología de los EE.UU. son cooptadas por el gobierno chino en proyectos paralelos de vigilancia.
El avance del uso de la IA en el ejército, la policía, las prisiones y los servicios de seguridad es menos una rivalidad entre las grandes potencias que un lucrativo proyecto mundial de las élites empresariales y gubernamentales para mantener el control sobre las poblaciones inquietas en el país y en el extranjero. Una vez desplegados en batallas y ocupaciones distantes, los métodos militares tienden a encontrar un camino de regreso al frente interno. Primero se despliegan contra minorías impopulares o relativamente impotentes, y luego se extienden a otros grupos. Los oficiales del Departamento de Seguridad Nacional de EE.UU. han dotado a los departamentos de policía local con tanques y armaduras. Los sheriffs estarán aún más entusiasmados con los objetivos y la evaluación de amenazas impulsados por la inteligencia artificial. Pero es importante recordar que hay muchas maneras de resolver los problemas sociales. No todas requieren una vigilancia constante junto con la amenaza mecanizada de la fuerza.
De hecho, puede que sea la forma menos eficaz de garantizar la seguridad, ya sea a nivel nacional o internacional. Los drones han permitido a los EE.UU. mantener una presencia en varias zonas ocupadas durante mucho más tiempo del que hubiera persistido un ejército. La presencia constante de un vigilante robótico, capaz de alertar a los soldados de cualquier comportamiento amenazador, es una forma de opresión. Las fuerzas de defensa americanas pueden insistir en que las amenazas de partes de Irak y Pakistán son lo suficientemente amenazadoras como para justificar la vigilancia constante, pero ignoran las formas en que tales acciones autoritarias pueden provocar la misma ira que se pretende sofocar.
En la actualidad, el complejo militar-industrial nos está acelerando hacia el desarrollo de enjambres de drones que operan independientemente de los humanos, aparentemente porque sólo las máquinas serán lo suficientemente rápidas para anticipar las contraestrategias del enemigo. Esta es una profecía autocumplida, que tiende a estimular el desarrollo por parte del enemigo de la misma tecnología que supuestamente justifica la militarización de los algoritmos. Para salir de este bucle autodestructivo, necesitamos cuestionar todo el discurso reformista de impartir la ética a los robots militares. En lugar de mejoras marginales de un camino hacia la competencia en la capacidad de lucha en la guerra, necesitamos un camino diferente: hacia la cooperación y la paz, por muy frágil y difícil que sea su logro.
En su libro «How Everything Became War and the Military Became Everything» (Cómo todo se convirtió en guerra y los militares se convirtieron en todo), La ex-funcionaria del Pentágono Rosa Brooks describe una creciente toma de conciencia entre los expertos de defensa americanos de que el desarrollo, la gobernanza y la ayuda humanitaria son tan importantes para la seguridad como la proyección de la fuerza, si no más. Un mundo con más recursos reales tiene menos razones para llevar a cabo guerras de suma cero. También estará mejor equipado para luchar contra los enemigos naturales, como los novedosos coronavirus. Si los Estados Unidos hubieran invertido una fracción de su gasto militar en capacidades de salud pública, es casi seguro que habrían evitado decenas de miles de muertes en 2020.
Para que esta mentalidad más expansiva y humana prevalezca, sus defensores deben ganar una batalla de ideas en sus propios países sobre el papel adecuado del gobierno y las paradojas de la seguridad. Deben cambiar los objetivos políticos de la dominación en el extranjero a la satisfacción de las necesidades humanas en el país. Observando el crecimiento del estado de seguridad nacional de los Estados Unidos – lo que él considera el «imperio depredador» – el autor Ian GR Shaw se pregunta: «¿No vemos el ascenso del control sobre la compasión, la seguridad sobre el apoyo, el capital sobre el cuidado, y la guerra sobre el bienestar?» Detener ese ascenso debería ser el objetivo principal de la política contemporánea de la IA y la robótica.
-• Adaptado de Nuevas Leyes de la Robótica: Defending Human Expertise in the Age of AI por Frank Pasquale, que será publicado por Harvard University Press en 27 de octubre
-• Sigue la lectura larga en Twitter en @gdnlongread, y regístrate en el correo electrónico semanal de lectura larga aquí.
