Quis Custodiet Ipsos Custodes? | octubre 2022

Atribuido a Juvenal,^a esta frase del título se traduce como «¿Quién vigilará a los vigilantes?» en el 21^{S t} siglo, bien podemos hacernos esta pregunta a medida que invertimos cada vez más en métodos, plataformas, aplicaciones y diseños de aprendizaje automático. En ninguna parte es esto más evidente, ya que vemos un mayor entusiasmo e inversión en inteligencia artificial (IA) para aplicaciones militares. En cierto modo, esta es una vieja historia. Las primeras computadoras se utilizaron para mejorar el cálculo de la configuración balística y, con la invención del radar, los sistemas automáticos de control de tiro se convirtieron en partes importantes de los sistemas ofensivos y defensivos. Que una «carrera de IA» internacional está en marcha es indiscutible. Esa no es toda la historia, por supuesto. Los métodos de aprendizaje automático han arrojado resultados científicos asombrosos, como el plegamiento computarizado de unas 200 millones de proteínas anunciado recientemente por Deep Mind.^b El reconocimiento de lenguaje natural, la síntesis de voz, los chatbots conversacionales, las «falsificaciones profundas» y una miríada de otras aplicaciones están surgiendo de las herramientas de aprendizaje profundo que ya se han desarrollado.

Entre los desarrollos más intrigantes está la noción de «redes antagónicas generativas», en las que una red neuronal intenta engañar a otra para que reconozca algo que no es.^C El proceso se puede utilizar para reforzar el funcionamiento correcto de una red neuronal discriminatoria (por ejemplo, de reconocimiento). Por supuesto, el concepto también se puede utilizar para derrotar el reconocimiento exitoso. Pequeñas modificaciones a las marcas de automóviles o señales pueden frustrar el reconocimiento exitoso (por ejemplo, camuflaje). Estos ejemplos a veces ilustran la diferencia entre el reconocimiento de imágenes humano y el de una máquina. Por supuesto, también hay numerosos ejemplos que muestran cómo la visión humana puede ser engañada y confundida: los dibujos de Maurice Escher vienen inmediatamente a la mente.^d

¿Qué tiene que ver todo esto con la frase de Juvenal? Cuanto más pienso en la fragilidad potencial de las redes neuronales y el reconocimiento o la toma de decisiones, más me pregunto cómo podremos saber cuándo una elección o decisión de una red neuronal es incorrecta. Hay un número creciente de ejemplos del uso de redes neuronales para reconocimiento facial o evaluación de solicitudes de préstamo o decisiones de libertad condicional. En muchos de estos casos, las estadísticas de los llamados conjuntos de entrenamiento utilizados para desarrollar los pesos de las «neuronas» en la red neuronal están sesgadas por decisiones erróneas de los humanos que se reflejan en los datos. En efecto, el conjunto de entrenamiento sesga los resultados cuando se aplica a nuevas aplicaciones.

En algunos casos, estos defectos pueden provocar daños graves. Los errores de los autos sin conductor, los ataques contra fuerzas amigas, los diagnósticos incorrectos de cáncer y las decisiones injustas que tienen consecuencias negativas se extraen de ejemplos del mundo real que deberían hacernos reflexionar. Por supuesto, también se sabe que los humanos cometen estos mismos errores. La pregunta que esto plantea en mi mente es si es posible entrenar redes neuronales independientes que puedan advertir sobre errores como este antes de que puedan causar daño. El concepto de red adversarial generativa parece tener un papel que desempeñar en esa línea de razonamiento.

Como bien saben los lectores de esta columna, a menudo no soy un experto en los temas planteados y este es definitivamente el caso aquí. Aún así, la ignorancia nunca me ha impedido especular, así que ahora me pregunto si existe alguna posibilidad de establecer «redes de observadores» que puedan ingerir comentarios, tal vez de observadores humanos o artificiales, que reforzarían la capacidad de la red neuronal para detectar o al menos señalar. que se haya tomado una decisión o elección equivocada. Los colegas de Google me informan que existe todo un subcampo de estimación de incertidumbre para las redes neuronales,^mi por lo que el modelo en sí mismo puede dar una estimación de qué tan seguro es acerca de una salida. Me alegra saber que parece haber una posibilidad de que las debilidades potenciales de las redes neuronales poderosas puedan minimizarse aplicando la tecnología para mejorar su solidez. No sería la primera vez que las semillas de una solución se esconden en la tecnología que creó el problema en primer lugar.

Volver arriba

Volver arriba

La Biblioteca digital es una publicación de la Association for Computing Machinery. Derechos de autor © 2022 ACM, Inc.

entradas no encontradas