Una auditoría encargada por Facebook Inc. la instó a mejorar las herramientas basadas en inteligencia artificial que utiliza para ayudar a identificar contenidos problemáticos como los discursos de odio, mostrando los límites actuales de la tecnología en la vigilancia de la plataforma de medios sociales más grande del mundo.
El informe, que se hizo público el miércoles, examinó el enfoque de Facebook sobre los derechos civiles y lo criticó como «demasiado reactivo y poco sistemático», a pesar de las muy publicitadas inversiones en censores basados en la Inteligencia Artificial y analistas humanos capacitados para rastrear y eliminar contenidos perjudiciales.
Facebook dice que a partir de marzo esas herramientas ayudaron a eliminar el 89% de los discursos de odio de la plataforma antes de que los usuarios los reportaran, en comparación con el 65% del año anterior, según el informe. Pero investigadores externos argumentan que aún es imposible medir cuántos mensajes escapan a los arrastres en una plataforma tan grande.
«Podría subirme [Facebook] ahora mismo e ir a páginas particulares y encontrar toneladas», dijo Caitlin Carlson, una profesora de comunicaciones de la Universidad de Seattle que ha estudiado el discurso del odio en Facebook. «Si la tecnología está mejorando tanto, ¿por qué Facebook no está mejorando tanto?»
Por muy poderosas que sean las herramientas basadas en la IA de Facebook, eliminar las publicaciones censurables no es tan fácil como pulsar un botón de eliminación.
La formación de herramientas de aprendizaje automático para revisar el contenido como moderadores humanos llevaría tiempo, experiencia y montones de datos para identificar nuevas palabras e imágenes. Los grupos de odio también se han vuelto más hábiles en evitar los censores automatizados de la plataforma. Luego está la escala de Facebook – 2.6 mil millones de usuarios divididos entre numerosos idiomas y culturas – y un negocio de publicidad que depende de ella.
El científico jefe de la IA de Facebook, Yann LeCun, dijo en una entrevista en marzo que está trabajando para desarrollar una IA auto-supervisada que pueda ayudar a imitar los intentos humanos de comprenderlo todo.
«Las máquinas actuales no tienen sentido común», dijo. «Tienen una función muy limitada y estrecha».
Dijo que esta investigación «es muy importante para Facebook [so it] puede detectar el discurso de odio en cientos de idiomas».
El equipo de Organizaciones Peligrosas de Facebook, que se centra en los terroristas y otros grupos de odio organizados, ilustra el enfoque híbrido que la empresa ha adoptado en respuesta a los desafíos.
La unidad de 350 personas, encabezada por expertos en la lucha contra el terrorismo, utilizó una combinación de revisión manual e instrumentos automatizados para frenar el alcance de los grupos yihadistas como el Estado Islámico. Utilizando «hashes», o huellas digitales de contenido, para identificar la posible propaganda en tiempo real, el equipo también capacitó a «clasificadores» de aprendizaje automático para que aprendieran a revisar puestos como los analistas humanos.
Pero se ha demostrado que es más difícil reorientar esas herramientas hacia los supremacistas blancos, dicen los expertos en antiterrorismo, que tienden a estar más fragmentados y cuyo contenido irónico a menudo se superpone con el discurso político de la derecha. Los gobiernos occidentales tampoco identifican a muchos de estos grupos como organizaciones terroristas, eliminando una clave para que las compañías tecnológicas tomen medidas.
Esas dinámicas hacen que los juicios sobre los derribos sean «mucho más difíciles de alcanzar y mucho más difíciles de lograr en tiempo real», dijo Nicholas Rasmussen, director ejecutivo del Foro Global de Internet para la Lucha contra el Terrorismo, una asociación entre los gobiernos y las empresas tecnológicas, incluyendo Facebook, Twitter Inc. y Microsoft Corp.
«Ese es el desafío que enfrentan las empresas», dijo el Sr. Rasmussen en una entrevista el mes pasado.
Los investigadores dicen que el ataque terrorista de la supremacía blanca en Christchurch, Nueva Zelanda, el año pasado, transmitido en vivo y compartido ampliamente a través de Facebook, ilustra el peligro de que una pieza de contenido se deslice a través de las grietas.
Desde entonces, Facebook ha redoblado su enfoque en los grupos de extrema derecha y cada vez más se ha volcado a las investigaciones dirigidas por analistas humanos en lugar de herramientas basadas en la inteligencia artificial, dicen los funcionarios de la empresa. Esa táctica resultó en el derribo en marzo del Frente Noroeste, un grupo que abogaba por un etnia blanca en el Pacífico Noroeste, y en la eliminación en junio de una red de cuentas afiliadas con el movimiento boogaloo.
Los ejecutivos han señalado la creciente capacidad de Facebook para eliminar este tipo de contenido de forma proactiva como prueba de la mejora, y una portavoz de la compañía dijo el miércoles que el equipo de Organizaciones Peligrosas se ha centrado cada vez más en esta área. Aún así, activistas y anunciantes han renovado sus críticas al enfoque de la compañía en la moderación de contenidos en medio de un diálogo nacional sobre la raza tras el asesinato de George Floyd en la custodia policial de Minneapolis en mayo.
«Hemos hecho verdaderos progresos a lo largo de los años», dijo la directora de operaciones Sheryl Sandberg en una entrada de blog respondiendo a la auditoría de derechos civiles el miércoles. «Pero este trabajo nunca está terminado y sabemos la gran responsabilidad que tiene Facebook de mejorar en la búsqueda y eliminación de contenido odioso».