Kate Crawford estudia las implicaciones sociales y políticas de la inteligencia artificial. Ella es una profesor de investigación de comunicación y estudios de ciencia y tecnología en la Universidad del Sur de California e investigador principal senior en Microsoft Research. Su nuevo libro Atlas de IA, analiza lo que se necesita para crear IA y lo que está en juego a medida que remodela nuestro mundo.
Ha escrito un libro crítico con la IA, pero trabaja para una empresa que se encuentra entre los líderes en su despliegue. ¿Cómo cuadras ese círculo?
Trabajo en el ala de investigación de Microsoft, que es una organización distinta, separada del desarrollo de productos. Inusualmente, a lo largo de sus 30 años de historia, ha contratado a científicos sociales para analizar críticamente cómo se están construyendo las tecnologías. Al estar en el interior, a menudo podemos ver las desventajas antes de que los sistemas se implementen ampliamente. Mi libro no pasó por ninguna revisión previa a la publicación (Microsoft Research no requiere eso) y los líderes de mi laboratorio apoyan la formulación de preguntas difíciles, incluso si las respuestas implican una evaluación crítica de las prácticas tecnológicas actuales.
¿Cuál es el objetivo del libro?
Comúnmente se nos presenta esta visión de la IA que es abstracta e inmaterial. Quería mostrar cómo se crea la IA en un sentido más amplio: sus costos de recursos naturales, sus procesos laborales y sus lógicas clasificatorias. Para observar eso en acción, fui a lugares que incluían minas para ver la extracción necesaria de la corteza terrestre y un centro de cumplimiento de Amazon para ver el costo físico y psicológico de los trabajadores por estar bajo un sistema de gestión algorítmica. Mi esperanza es que, al mostrar cómo funcionan los sistemas de inteligencia artificial, al dejar al descubierto las estructuras de producción y las realidades materiales, tengamos una descripción más precisa de los impactos e invite a más personas a la conversación. Estos sistemas se están implementando en una multitud de sectores sin una regulación sólida, consentimiento o debate democrático.
¿Qué debe saber la gente sobre cómo se fabrican los productos de IA?
No estamos acostumbrados a pensar en estos sistemas en términos de costos ambientales. Pero decir, «Oye, Alexa, pídeme algunos rollos de papel higiénico», invoca esta cadena de extracción, que recorre todo el planeta … Tenemos un largo camino por recorrer antes de que esto sea tecnología verde. Además, los sistemas pueden parecer automatizados, pero cuando abrimos el telón vemos grandes cantidades de mano de obra mal remunerada, desde trabajo colectivo que categoriza datos hasta el trabajo interminable de barajar cajas de Amazon. La IA no es ni artificial ni inteligente. Está hecho de recursos naturales y son las personas las que realizan las tareas para que los sistemas parezcan autónomos.
Los problemas de sesgo han sido bien documentados en la tecnología de IA. ¿Pueden más datos resolver eso?
Sesgo es un término demasiado estrecho para el tipo de problemas de los que estamos hablando. Una y otra vez, vemos que estos sistemas producen errores: a las mujeres se les ofrece menos crédito por medio de algoritmos de solvencia, caras negras mal etiquetadas, y la respuesta ha sido: «Solo necesitamos más datos». Pero he tratado de ver estas lógicas más profundas de clasificación y empiezas a ver formas de discriminación, no solo cuando se aplican los sistemas, sino en cómo se construyen y se entrena para ver el mundo. Conjuntos de datos de entrenamiento usados para software de aprendizaje automático que categorizar casualmente a las personas en solo uno de dos géneros; que clasifican a las personas según el color de su piel en una de las cinco categorías raciales, y que intentan, según su apariencia, asignarles un carácter moral o ético. La idea de que puede hacer estas determinaciones en función de la apariencia tiene un pasado oscuro y, desafortunadamente, la política de clasificación se ha incorporado a los sustratos de la IA.
Usted destaca ImageNet, un gran conjunto de datos de entrenamiento disponible públicamente para el reconocimiento de objetos …
Con alrededor de 14 millones de imágenes en más de 20.000 categorías, ImageNet es uno de los conjuntos de datos de entrenamiento más importantes en la historia del aprendizaje automático. Se utiliza para probar la eficacia de los algoritmos de reconocimiento de objetos. Fue lanzado en 2009 por un grupo de investigadores de Stanford que recogieron enormes cantidades de imágenes de la web e hicieron que los trabajadores colectivos las etiquetaran de acuerdo con los sustantivos de WordNet, una base de datos léxica que se creó en la década de 1980.
A partir de 2017, hice un proyecto con el artista Trevor Paglen para ver cómo se etiquetaba a las personas. Encontramos horribles términos clasificatorios que eran misóginos, racistas, capacitistas y críticos en extremo. Las imágenes de personas estaban siendo emparejadas con palabras como cleptómano, alcohólico, mala persona, reina del armario, prostituta, puta, drogadicto y mucho más, no puedo decir aquí. ImageNet ahora ha eliminado muchas de las categorías de personas obviamente problemáticas, sin duda una mejora, sin embargo, el problema persiste porque estos conjuntos de capacitación aún circulan en los sitios de torrents. [where files are shared between peers].
Y solo pudimos estudiar ImageNet porque es público. Existen enormes conjuntos de datos de capacitación en manos de empresas de tecnología que son completamente secretos. Han saqueado imágenes que hemos subido a servicios para compartir fotos y plataformas de redes sociales y las han convertido en sistemas privados.
Usted desacredita el uso de la IA para el reconocimiento de emociones, pero trabajar para una empresa que vende tecnología de reconocimiento de emociones de IA. ¿Debería utilizarse la IA para la detección de emociones??
La idea de que puedes ver en la cara de alguien lo que está sintiendo es profundamente errónea. No creo que eso sea posible. He argumentado que es uno de los dominios que se necesitan con mayor urgencia para la regulación. La mayoría de los sistemas de reconocimiento de emociones actuales se basan en una línea de pensamiento en psicología desarrollada en la década de 1970, sobre todo por Paul Ekman, que dice que hay seis emociones universales que todos mostramos en nuestros rostros y que se pueden leer utilizando las técnicas adecuadas. Pero desde el principio hubo retrocesos y el trabajo más reciente muestra que no existe una correlación confiable entre las expresiones en la cara y lo que realmente estamos sintiendo. Y, sin embargo, tenemos empresas de tecnología que dicen que las emociones se pueden extraer simplemente mirando videos de las caras de las personas. Incluso lo estamos viendo integrado en los sistemas de software de los automóviles.
¿A qué te refieres cuando dices que debemos centrarnos menos en la ética de la IA y más en el poder?
La ética es necesaria, pero no suficiente. Más útiles son preguntas como, ¿quién se beneficia y quién se ve perjudicado por este sistema de IA? ¿Y pone el poder en manos de los que ya son poderosos? Lo que vemos una y otra vez, desde el reconocimiento facial hasta el rastreo y la vigilancia en los lugares de trabajo, es que estos sistemas están empoderando a instituciones que ya son poderosas: corporaciones, ejércitos y policías.
¿Qué se necesita para mejorar las cosas?
Regímenes regulatorios mucho más fuertes y mayor rigor y responsabilidad sobre cómo se construyen los conjuntos de datos de capacitación. También necesitamos diferentes voces en estos debates, incluidas las personas que ven y viven con las desventajas de estos sistemas. Y necesitamos una política renovada de rechazo que desafíe la narrativa de que solo porque se puede construir una tecnología, se debe implementar.
¿Algún optimismo?
Están en marcha cosas que me dan esperanza. Este abril, la UE elaboró el primer borrador de regulaciones generales para la IA. Australia también acaba de publicar nuevas directrices para regular la IA. Hay agujeros que deben repararse, pero ahora estamos empezando a darnos cuenta de que estas herramientas necesitan barandillas mucho más resistentes. Y darme tanto optimismo como el progreso en la regulación es el trabajo de activistas que luchan por el cambio.
El investigador de ética de la IA Timnit Gebru fue expulsada de Google a fines del año pasado luego de que ejecutivos criticaran su investigación. ¿Cuál es el futuro de la crítica dirigida por la industria?
El trato que Google le dio a Timnit ha causado conmoción en los círculos académicos y de la industria. La buena noticia es que no hemos visto el silencio; en cambio, Timnit y otras voces poderosas han seguido hablando y presionando por un enfoque más justo para diseñar e implementar sistemas técnicos. Un elemento clave es garantizar que los investigadores de la industria puedan publicar sin interferencias corporativas y fomentar la misma libertad académica que las universidades buscan brindar.