Un programa de software de código abierto, «Fawkes», desarrollado por un grupo de investigación de UChicago, puede modificar imágenes de formas en gran medida imperceptibles para el ojo humano y, al mismo tiempo, hacer que los rostros de la imagen sean indetectables para los sistemas de reconocimiento facial.
El software de reconocimiento facial a menudo se entrena haciendo coincidir nombres con rostros en imágenes extraídas de sitios web y redes sociales. El objetivo es desarrollar un software que pueda identificar correctamente imágenes de rostros de personas con las que no se haya encontrado previamente. Esto permite que las personas sean fácilmente identificables cuando se captura una imagen de su rostro en espacios públicos, como en una protesta política.
Al cambiar algunas de sus características para que se parezcan a las de otra persona, la “máscara” de Fawkes evita que el software de reconocimiento facial entrene a su modelo. Un modelo de reconocimiento facial se entrena con éxito cuando asocia su nombre con un conjunto distinto de características y puede reconocerlo con precisión en imágenes futuras. La máscara de Fawkes reduce la diferencia entre su conjunto de rasgos faciales y los de otras personas, lo que evita que el software de reconocimiento facial entrene. La máscara de Fawkes es en gran parte imperceptible para el ojo humano, pero engañosa para los modelos de aprendizaje automático.
El proyecto Fawkes está dirigido por dos doctores en ciencias de la computación. estudiantes del Laboratorio de Seguridad, Algoritmos, Redes y Datos (SAND), Emily Wenger y Shawn Shan, quienes trabajan con UChicago Ph.D. el estudiante Huiying Li y el Ph.D. de UC San Diego. estudiante Jiayun Zhang. Están asesorados por los codirectores del SAND Lab, los profesores Ben Zhao y Heather Zheng, del Departamento de Informática.
Fawkes se inspiró en el concepto de envenenamiento de modelos, un tipo de ataque en el que un algoritmo de aprendizaje automático se alimenta intencionalmente con datos engañosos para evitar que haga predicciones precisas. Por lo general, los ataques de envenenamiento adoptan la forma de virus maliciosos utilizados por piratas informáticos. Shan preguntó: «¿Y si pudiéramos usar los ataques de envenenamiento para siempre?»
La elaboración de un algoritmo que modifique las fotos de manera que confunda los sistemas de detección, pero que los humanos no reconozcan, requiere un equilibrio delicado. «Siempre es una compensación entre lo que la computadora puede detectar y lo que molesta al ojo humano».
Wenger y Shan esperan que, en el futuro, las personas no sean identificables por los gobiernos o los actores privados basándose únicamente en imágenes tomadas de ellos en el mundo.
Dado que el laboratorio publicó un artículo sobre su programa en Actas del Simposio de seguridad de USENIX 2020, su trabajo ha recibido mucha cobertura mediática. Wenger dice que parte de la cobertura ha hecho que Fawkes parezca un escudo más potente contra el software de reconocimiento facial de lo que realmente es. “Gran parte de la atención de los medios sobreinfla las expectativas de la gente sobre [Fawkes], lo que lleva a que la gente nos envíe correos electrónicos … ‘¿por qué esto no resuelve todos nuestros problemas?’ ”, dijo Wenger.
Florian Tramèr, Ph.D. de quinto año. estudiante de informática en la Universidad de Stanford, ha escrito que el software de envenenamiento de datos como Fawkes brinda a los usuarios una «falsa sensación de seguridad».
Tramèr tiene dos preocupaciones principales: Fawkes y algoritmos similares no tienen en cuenta las imágenes inalteradas que la gente ya ha publicado en Internet, y el software de reconocimiento facial desarrollado después de Fawkes puede ser entrenado para detectar rostros en imágenes con las distorsiones aplicadas.
En su artículo, Wenger y Shan abordan el primer problema sugiriendo a los usuarios que creen una cuenta de redes sociales con imágenes enmascaradas con un nombre diferente. Estos perfiles, llamados «cuentas Sybil» en el mundo de las ciencias de la computación, engañan a un algoritmo de entrenamiento al llevarlo a asociar un rostro con más de un nombre.
Pero Tramèr dijo El granate que inundar Internet con imágenes enmascaradas con un nombre diferente no va a ayudar. «Si Clearview [a facial recognition system] tiene acceso al ataque (Fawkes) luego [it] puede entrenar fácilmente a un modelo que es inmune al ataque de Fawkes «.
Tramèr no está convencido de que Fawkes pueda proporcionarles un escudo lo suficientemente fuerte contra el software de reconocimiento que se desarrollará en el futuro. “No hay garantía de cuán fuerte será esta perturbación en un año”, dijo. Los intentos de hacer que la cara de uno sea indetectable en imágenes podrían frustrarse entrenando el algoritmo del próximo año en un conjunto de fotos enmascaradas por una versión antigua de Fawkes.
Sin embargo, Tramèr sí cree que llevar una máscara en un espacio público podría eludir la detección, porque la ventaja siempre es para el partido que juega a la defensa. «Si hay un reconocimiento facial en el aeropuerto y sabes que está allí, entonces cada año que te presentas en el aeropuerto, puedes venir con una nueva máscara que es mejor que el año anterior».
Sin embargo, Tramèr cree que el uso de software de reconocimiento facial solo puede limitarse mediante cambios en las políticas. Parecía moderadamente optimista y citó a empresas como Microsoft, Amazon e IBM, que han dicho que no venderán el software de reconocimiento facial a las fuerzas del orden. Entre las preocupaciones de estas empresas está el hecho de que estos modelos han demostrado un reconocimiento menos preciso de rostros de piel más oscura que de rostros de piel más clara, lo que podría permitir la brutalidad policial hacia los negros. Aún así, otras empresas, como Ring, la empresa de cámaras de timbre, continúan colaborando con las fuerzas policiales.
Wenger y Shan dijeron que siempre habría un nuevo modelo de reconocimiento facial que podría superar su último intento de enmascaramiento. Aún así, creen que Fawkes y otro software que dificulta el reconocimiento facial son valiosos. “Estamos aumentando los costos para un atacante. Si nadie propone la idea, por imperfecta que sea, nunca nadie avanza ”.
