Al rescate de la Humanidad: Programadoras contra filósofos

La irlandesa Laura Nolan tiene un máster en Ingeniería de Programación y una especialización en Inteligencia Artificial (IA) y máquinas inteligentes.

Desde 2013 trabajó en la sede central de Google en Europa y en 2017 le ofrecieron un puesto para ingenieros seleccionados dentro de un grupo de alta tecnología para un proyecto puntero.

Una prometedora carrera por delante la esperaba en una de las empresas más influyentes y famosas del mundo. Sin embargo abandonó la empresa en 2018 a cambio de nada. Ella lo relata así:

Lo que Google me pidió hacer a finales de 2017 era contribuir a la modificación de sus sistemas públicos en la nube, para adaptarlos a los requerimientos de proceso de datos secretos del gobierno (de Estados Unidos, EEUU).

Concretamente los datos eran de Vídeos de Área Amplia (WAMI, por sus siglas en inglés), es decir, grabaciones aéreas desde un dron como el Reaper (la Parca ¡que lo tiene el Ejército del Aire español!) o el Predator (depredador ¡que también lo tiene!).

Se trata del proyecto piloto Maven, del Ministerio de Defensa, con el fin de aprovechar la tecnología del sector privado que no tenía su Ejército. La idea motriz de Maven parte de que el Ejército de EEUU generaba más vídeos de vigilancia mediante drones del que puede analizar por medio de sus empleados.

Lo que quería es desarrollar un sistema de ordenadores que tomen decisiones automáticamente a partir de imágenes importantes, o sea, personas y vehículos, de forma que rastreen sus movimientos en el tiempo y en el espacio. Esto incluye incluso una función de gráfico social.

Google mantuvo el contrato de Maven muy discretamente apartado del público y durante meses sólo un puñado de personas lo conoció, incluso no lo revelaron a las que como yo fuimos invitadas a participar en el proyecto.

Maven es un Proyecto militar de vigilancia, un eslabón de la ‘cadena de matar’ del ejército: identificación del objetivo, envío de la fuerza para atacarlo, decisión y orden del ataque y finalmente su destrucción. Para una empresa cuya misión manifestada es “ofrecer acceso a información imparcial, rigurosa y gratuita a los que confían en nosotros”, esto supone una clara desviación de aquélla.

Maven tiene implicaciones éticas obvias que me preocupaban profundamente. Me dispuse a aprender más acerca de los drones y sus impactos sobre las personas y sus comunidades, por ejemplo, los ataques de drones estadounidenses en Pakistán.

En segundo lugar las organizaciones de derechos humanos han condenado la forma en que el Ejército de EEUU usa los drones para atacar. Matan a muchos civiles, el control del gobierno es inexistente o débil y no hay transparencia sobre sus impactos y la toma de decisiones. Hay razones poderosas para creer que su uso alienta el terrorismo.

Concluí que trabajar con la tecnología de Google en relación con Maven me haría responsable en la muerte de civiles. Estuve varias semanas sin dormir y tuve problemas estomacales por primera vez en mi vida. Me dirigí a los responsables de los niveles directivos más altos a los que pude llegar en ambas orillas del Atlántico y les hice saber que si este proyecto se mantenía, dejaría Google. Hablé con colegas y firmé una carta abierta que se difundió ampliamente en los medios.

En el verano de 2018 abandoné Google. Sus ejecutivos demostraron que están dispuestos a firmar en secreto contratos muy dudosos como el Proyecto Maven. En conciencia no podía continuar como empleada de Google cuando no tenía la certeza de que mi trabajo no iba a ser usado para violar los derechos humanos o incluso matar.

Después dejé de lado la ingeniería de programación durante un tiempo. Empecé un voluntariado con la Campaña para la Abolición de Robots Asesinos, que pide la prohibición de las armas inteligentes.

Ahora utilizo mis conocimientos técnicos sobre sistemas complejos y fiabilidad de programas para explicar algunos problemas que probablemente veremos cuando entren en funcionamiento este tipo de armas: probablemente sean impredecibles, cometerán errores y causarán víctimas civiles.

Actualmente hay gran interés en las cuestiones éticas de la tecnología y también debate constante en los medios sobre todo tipo de cuestiones desde la privacidad a la toma de decisiones autónomas y al margen de error. Todo esto está bien, pero es preciso tener la seguridad de que hay un cambio real duradero.

Los que trabajamos en tecnología tenemos que empezar a reflexionar acerca de nuestra responsabilidad profesional respecto del bien superior y sobre las compañías en las que trabajamos. Tenemos que formarnos acerca del daño que la tecnología puede causar.

A diferencia de otras profesiones con una trayectoria más larga, nosotros no tenemos formación continua que se ocupe de los dilemas éticos, tenemos que obtenerla por nuestra cuenta.

Organicé en Dublín, donde vivo, un grupo cuyo objetivo se centra en la ética de la tecnología. También creo que los ingenieros de programación tendríamos que formar parte de una organización profesional o sindicato, es decir, grupos que tienen un poder político que a las personas individuales nos falta.

Hace veinte años, cuando iba a la universidad, los ordenadores que había en los puestos de trabajo y quizás en casa, se encendían unas pocas horas a la semana.

Nos mostraban la nómina y la previsión del tiempo. Hoy hacen mucho más y los llevamos encima casi todo el día. Éstos deciden quién consigue una entrevista de trabajo, quién obtiene beneficios sociales, quién recibe tal propaganda política y quizás quién resulta muerto por el ataque de un dron.

Con este currículum digno de cum laude, Laura Nolan fue invitada al programa de la BBC ¿Son los “robots asesinos” el futuro de la guerra? (Are ‘killer robots’ the future of warfare?) que apareció el 5 de abril en Grupo Tortuga. A continuación sigue su opinión sobre este asunto.

Parece que algunos tienen la visión de que los robots sustituirán a los hombres y entonces las guerras se harán sin derramamiento de sangre, pero esto es una utopía.

Más bien es lo contrario: es un futuro en el que la mayor parte del tiempo se enviarán máquinas contra seres humanos causando considerable daño, sufrimiento y terror.

El principal problema en este asunto es que los ordenadores piensan diferente a los seres humanos. Éstos emiten juicios, es decir, trabajan con situaciones de grises variables y problemas confusos, mientras que los ordenadores hacen cálculos, es decir, trabajan con algoritmos, reglas, sumas, bases de datos, hechos concretos.

En consecuencia, en un campo de batalla, especialmente en zonas de combate donde hay civiles, la situación se vuelve altamente compleja: aparecen amenazas imprevisibles y complicadas decisiones que requieren un juicio.

En una guerra todo se vuelve altamente impredecible y los seres humanos son muy adaptativos, pero los programas informáticos no lo son.

En una guerra cada acción bélica es diferente a las demás: se intenta engañar al enemigo, se dificulta su identificación mediante el camuflaje, puede haber civiles por medio, etc.

Hay tantas variables en juego, que es preciso poner a prueba los procedimientos, pero no una vez, sino de forma exhaustiva, en cada situación, en cada lugar.

Los coches autónomos se someten a millones de pruebas. En 2018 un coche autónomo de Uber no fue capaz de reconocer a una mujer en bicicleta como una situación de peligro y resultó muerta por el atropello que sufrió.

En comparación, la situación en una batalla presenta una lista casi infinita de situaciones complicadas. Por tanto, al no haber predictibilidad, resulta imposible realizar infinitas pruebas.

En consecuencia esto nos lleva a un problema ético profundo y a optar por la prohibición de esos robots.

Otro problema es el de la ausencia de responsabilidad por parte de los que los usan. ¿Quién se hace responsable?

Supongamos una acción en la que un robot comete lo que se conoce como un crimen de guerra. Si lo hubiese cometido un soldado de carne y hueso, éste sería el responsable y por tanto podría ser juzgado por ello. Sin embargo, si es un robot no hay nadie a quien pedir responsabilidades, no al comandante de la fuerza, tampoco al diseñador del robot.

Tras haber escuchado horrorizado a los dos primeros entrevistados, La intervención de Laura aporta una lección sobre los robots asesinos concisa, directa, clara, esperanzadora, valiente y personalmente respaldada por su experiencia.

Claramente Laura puede dar lecciones de programación de forma sobresaliente, pero las que da como filósofa de la ética -en Google, en la BBC y en la página web en la que participa- son impagables.

Gracias por tu actitud y determinación.

Si vis pacem voca programmator, quod philosophus obliviscaris