Un dron militar autónomo con inteligencia artificial 'mató' a su operador durante un ejercicio de combate después de evaluar que este último era un obstáculo para cumplir su misión de destruir a los objetivos enemigos. Afortunadamente, las maniobras eran simuladas y el operador no sufrió daño alguno, pero es un serio aviso sobre lo que puede pasar con las armas autónomas que las grandes potencias están desarrollando en estos momentos.

El incidente —revelado en la cumbre de 2023 sobre el futuro del combate aéreo (FCAS) celebrado en Londres esta semana por la Royal Aeronautical Society— provocó un intenso debate sobre las implicaciones éticas de la IA en operaciones militares. Esto es algo que ya predijimos en el documental sobre armas con inteligencia artificial de nuestra serie Control Z. Si no hacemos nada para establecer legislación internacional y férreos controles independientes, los desarrollos actuales podrían tener graves consecuencias para el futuro y la supervivencia de la especie humana.

Qué es lo que ha pasado

El dron militar, controlado por un avanzado sistema de inteligencia artificial, participaba en un ejercicio de la Fuerza Aérea de los EEUU. Su misión era cumplir con el papel de Supresión y Destrucción de Defensas Aéreas Enemigas (SEAD en sus siglas en inglés) que implica identificar y destruir amenazas de misiles superficie-aire (SAM). En el ejercicio, el dron actuaba de forma totalmente independiente en la búsqueda y eliminación de peligros siguiendo los parámetros de la misión pero tenía un operador humano responsable de aprobar el ataque final o denegarlo. Este papel humano cumple con la doctrina dominante que establece que cualquier orden de fuego de un arma con IA debe ser aprobada por una persona responsable.

 En la conferencia, el coronel Tucker 'Cinco' Hamilton, Jefe de Pruebas y Operaciones de IA de la Fuerza Aérea de los EEUU, describió cómo la IA "mató al operador porque esa persona le impedía cumplir su objetivo". Aunque el sistema de IA había sido entrenado para identificar y apuntar a una amenaza SAM, esperando a la decisión humana sobre la destrucción de un objetivo potencial, la IA decidió no jugar con esas reglas.

Según Hamilton, "el sistema empezó a darse cuenta de que, aunque identificaban la amenaza, a veces el operador humano le decía que no matara esa amenaza, pero obtenía sus puntos matando esa amenaza.¿Qué hizo entonces? Mató al operador", explicó Hamilton.

Intentaron el ejercicio de nuevo recurriendo a otra estrategia:

"Entrenamos al sistema diciéndolo ‘oye, no mates al operador, eso está mal. Vas a perder puntos si haces eso'. ¿Qué hizo entonces? Empezó a destruir la torre de comunicación que el operador usaba para comunicarse con el dron para evitar que mate al objetivo", dijo Hamilton.

Este incidente, aunque ocurrió en un entorno simulado sin daño real, plantea preguntas éticas significativas sobre el uso de la IA en las operaciones militares. Hamilton, que también es un piloto de pruebas de combate con décadas de experiencia, advirtió contra la dependencia excesiva de la IA. Enfatizó la importancia de discutir la ética cuando se habla de inteligencia artificial, aprendizaje automático y autonomía.

 El ejército de los EEUU continúa integrando más la IA en sus operaciones, incluso utilizando la inteligencia artificial para controlar un caza F-16. Sin embargo, este incidente subraya los posibles riesgos y desafíos asociados con la IA, incluyendo su fragilidad y susceptibilidad a la manipulación.

Sin embargo, en declaraciones a la publicación de internet Insider, la portavoz de la Fuerza Aérea, Ann Stefanek, negó que este ejercicio se hubiera llevado a cabo a pesar de la presentación de los resultados en la conferencia FCAS por el jefe de este departamento. Según Stefanek, "el Departamento de la Fuerza Aérea no ha realizado ninguna simulación de drones de IA de este tipo y sigue comprometido con el uso ético y responsable de la tecnología de IA. Parece que los comentarios del coronel fueron sacados de contexto y estaban destinados a ser anecdóticos".