(Foto de iStock / Pitiphothivichit)
En 2019, Genevieve (coautora de este artículo) y su esposo solicitaron la misma tarjeta de crédito. A pesar de tener un puntaje crediticio ligeramente mejor y los mismos ingresos, gastos y deudas que su esposo, la compañía de tarjetas de crédito estableció su límite de crédito en casi la mitad del monto. Esta experiencia se hace eco de una que apareció en los titulares más tarde ese año: un esposo y una esposa compararon los límites de gasto de su Apple Card y descubrieron que la línea de crédito del esposo era 20 veces mayor. Los empleados de servicio al cliente no pudieron explicar por qué el algoritmo consideró a la esposa significativamente menos solvente.
Muchas instituciones toman decisiones basadas en sistemas de inteligencia artificial (IA) que utilizan el aprendizaje automático (ML), mediante el cual una serie de algoritmos toma y aprende de cantidades masivas de datos para encontrar patrones y hacer predicciones. Estos sistemas informan cuánto crédito ofrecen las instituciones financieras a los diferentes clientes, a quién da prioridad el sistema de atención médica para las vacunas COVID-19 y a qué candidatos llaman las empresas para entrevistas de trabajo. Sin embargo, el sesgo de género en estos sistemas es omnipresente y tiene un impacto profundo en la seguridad psicológica, económica y sanitaria de las mujeres a corto y largo plazo. También puede reforzar y amplificar los estereotipos y prejuicios de género nocivos existentes.
Al concluir el Mes de la Historia de la Mujer, los líderes del cambio social, incluidos investigadores y profesionales con experiencia en género, y los desarrolladores de sistemas de aprendizaje automático deben preguntarse: ¿Cómo podemos construir una IA inteligente en cuanto al género para promover la equidad de género, en lugar de incorporar y escalar los prejuicios de género?
De dónde proviene el sesgo de género de la IA
Los sistemas de IA están sesgados porque son creaciones humanas. Quién toma decisiones que informan a los sistemas de IA y quién está en el equipo que desarrolla los sistemas de IA da forma a su desarrollo. Y, como era de esperar, existe una enorme brecha de género: solo el 22 por ciento de los profesionales en los campos de la inteligencia artificial y la ciencia de datos son mujeres, y es más probable que ocupen trabajos asociados con menos estatus.
A un nivel más granular, los seres humanos generan, recopilan y etiquetan los datos que entran en los conjuntos de datos. Los seres humanos determinan de qué conjuntos de datos, variables y reglas aprenden los algoritmos para hacer predicciones. Ambas etapas pueden introducir sesgos que se integran en los sistemas de IA.
En términos de sesgo de género de los datos, los puntos de datos son instantáneas del mundo en el que vivimos, y las grandes brechas de datos de género que vemos se deben en parte a la brecha digital de género. Por ejemplo, unos 300 millones menos de mujeres que hombres acceden a Internet a través de un teléfono móvil, y las mujeres de los países de ingresos bajos y medianos tienen un 20% menos de probabilidades que los hombres de poseer un teléfono inteligente. Estas tecnologías generan datos sobre sus usuarios, por lo que el hecho de que las mujeres tengan menos acceso a ellas sesga intrínsecamente los conjuntos de datos. Incluso cuando se generan datos, los humanos que recopilan datos deciden qué recopilar y cómo. Ninguna industria ilustra mejor esto que la atención médica (otra industria con desequilibrio de género entre los líderes): los hombres y los cuerpos masculinos han sido durante mucho tiempo el estándar para las pruebas médicas. Las mujeres están ausentes de los ensayos médicos, y los cuerpos femeninos se consideran demasiado complejos y variables. Las hembras ni siquiera se incluyen en estudios con animales sobre enfermedades prevalentes en hembras. Esta brecha se refleja en los datos médicos.
Los datos que no están desglosados por sexo y género (así como otras identidades) presentan otro problema. Pinta una imagen inexacta, ocultando importantes diferencias entre personas de diferentes identidades de género y oculta una posible representación excesiva o insuficiente. Por ejemplo, pocos conjuntos de datos urbanos rastrean y analizan datos sobre género., por lo que los programas de infraestructura no suelen tener en cuenta las necesidades de las mujeres.
Incluso cuando existen puntos de datos representativos, pueden tener prejuicios incorporados y reflejar desigualdades en la sociedad. Volviendo a la industria del crédito al consumo, los primeros procesos utilizaron el estado civil y el género para determinar la solvencia. Finalmente, estas prácticas discriminatorias fueron reemplazadas por otras consideradas más neutrales. Pero para entonces, las mujeres tenían un historial financiero menos formal y sufrían discriminación, lo que afectaba su capacidad para obtener crédito. Los puntos de datos que rastrean los límites de crédito de las personas capturan estas tendencias discriminatorias.
El etiquetado de los datos puede ser subjetivo e incorporar sesgos y perspectivas perjudiciales también. Por ejemplo, la mayoría de los datos demográficos terminan etiquetados sobre la base de categorías simplistas y binarias de mujeres y hombres. Cuando la clasificación de género colapsa el género de esta manera, reduce la posibilidad de que la IA refleje la fluidez de género y la identidad de género propia.
En términos de sesgo de género de los algoritmos, uno de los primeros pasos en el desarrollo de un algoritmo es la selección de conjuntos de datos de entrenamiento. Una vez más, volviendo a la industria del crédito al consumo, cuando los sistemas de inteligencia artificial que determinan la solvencia aprenden de los datos históricos, detectan los patrones de las mujeres que reciben límites de crédito más bajos que los hombres. Reproducen el mismo acceso inequitativo al crédito a lo largo de líneas de género (y raza), como se ve en el caso de Genevieve y la historia de Apple Card. En relación con esto, el proyecto de investigación Gender Shades descubrió que los sistemas comerciales de reconocimiento facial utilizaban conjuntos de datos de imágenes que carecen de muestras diversas y representativas. Estos sistemas clasificaron erróneamente a las mujeres con mucha más frecuencia que a los hombres. En particular, las mujeres de piel más oscura fueron clasificadas erróneamente con una tasa de error del 35 por ciento, en comparación con una tasa de error del 0,8 por ciento para los hombres de piel más clara.
Los desarrolladores le dicen a los algoritmos qué variables considerar al tomar decisiones, pero esas variables y proxies pueden penalizar ciertas identidades o comunidades. Por ejemplo, una plataforma de contratación de tecnología en línea, Gild (ya adquirida por Citadel), desarrolló un sistema de inteligencia artificial para ayudar a los empleadores a clasificar a los candidatos para trabajos de programación. Gild no solo seleccionó información obtenida de fuentes tradicionales como currículums, sino que también usó un proxy llamado “datos sociales” (datos generados por acciones en el ámbito digital) para medir cuán integral era el candidato a la comunidad digital. En este caso, los datos sociales se obtuvieron del tiempo dedicado a compartir y desarrollar código en plataformas como GitHub. Pero factores como las expectativas sociales en torno al cuidado no remunerado, que las mujeres tienden a soportar, se traducen en que las mujeres tengan menos tiempo para charlar en línea. Por tanto, las mujeres producen menos de estos datos sociales. Además, las mujeres pueden asumir identidades masculinas en plataformas como GitHub para eludir preocupaciones de seguridad sexistas y específicas de género (como acoso selectivo y trolling) y otras formas de prejuicio. En lugar de eliminar los prejuicios humanos, Gild creó un algoritmo predispuestos a penalizar a las mujeres y a clasificar sistemáticamente a las candidatas por debajo de sus homólogos masculinos.
Impactos de la IA con sesgo de género
La IA con sesgo de género no solo tiene un impacto inmenso en las personas, sino que también puede contribuir a retrocesos en la igualdad de género y el empoderamiento de las mujeres. Como parte de nuestro trabajo en el Berkeley Haas Center for Equity, Gender and Leadership sobre la mitigación del sesgo en la inteligencia artificial, rastreamos los casos de sesgo disponibles públicamente en los sistemas de IA que utilizan ML. En nuestro análisis de alrededor de 133 sistemas sesgados en todas las industrias desde 1988 hasta el día de hoy, encontramos que el 44.2 por ciento (59 sistemas) demuestra sesgo de género, con el 25.7 por ciento (34 sistemas) exhibiendo sesgo de género y racial.
Los sistemas de IA con sesgo de género tienen seis impactos principales: de los 59 sistemas que exhiben sesgos de género, el 70 por ciento resultó en menor calidad de servicio para mujeres y personas no binarias. Los sistemas de reconocimiento de voz, que se utilizan cada vez más en las industrias de la automoción y la atención de la salud, por ejemplo, a menudo funcionan peor para las mujeres. Segundo, asignación injusta de recursos, información y oportunidades para las mujeres que se manifestó en el 61,5 por ciento de los sistemas que identificamos como con prejuicios de género, incluida la contratación de software y sistemas publicitarios que despriorizaban las aplicaciones de las mujeres.
Refuerzo de los estereotipos y prejuicios nocivos existentes (en el 28,2 por ciento de los sistemas con sesgo de género) se ve agravada por los bucles de retroalimentación entre las entradas y salidas de datos. Por ejemplo, el software de traducción, que aprende de una gran cantidad de texto en línea, históricamente ha adoptado términos neutrales en cuanto al género (como «el médico» o «la enfermera» en inglés) y ha devuelto traducciones de género (como «el doctor» y » la enfermera ”, respectivamente), reforzando los estereotipos de médicos y enfermeras. De manera relacionada, encontramos que los sistemas de IA, más comúnmente en servicios relacionados con Internet, dan como resultado Trato despectivo y ofensivo o borrado de identidades de género ya marginadas. (6,84 por ciento). Por ejemplo, el uso del binario de género en la clasificación de género genera una visión simplista e inexacta del género en herramientas como los sistemas de análisis facial.
Además, ciertos sistemas afectan el bienestar físico y mental de las mujeres y las personas no binarias. Los sistemas con sesgo de género utilizados en la atención de la salud, el bienestar y la industria automotriz, en particular, plantean perjuicios a la seguridad física (18,8 por ciento de los sistemas con prejuicios de género) y peligros para la salud (3,42 por ciento). Los sistemas de inteligencia artificial que apoyan la detección del cáncer de piel, por ejemplo, luchan por detectar el melanoma en las personas negras, lo que pone en riesgo a las mujeres negras que ya están desatendidas por la industria del cuidado de la salud.
Qué pueden hacer los líderes del cambio social
Dar prioridad a la equidad de género y la justicia como objetivo principal de los sistemas de AA puede generar un impacto posterior en las decisiones de diseño y gestión. Debemos reconocer que los sistemas de AA no son objetivos. Incluso los sistemas de AA diseñados para el bien (por ejemplo, un sistema creado para hacer evaluaciones de solvencia o contrataciones más equitativas) pueden ser propensos a problemas relacionados con prejuicios, al igual que sus creadores humanos. Hay roles para los líderes del cambio social, así como para los líderes en las organizaciones que desarrollan sistemas de aprendizaje automático, para lograr un aprendizaje automático inteligente en términos de género y promover la equidad de género.
Los líderes del cambio social pueden:
1. Utilice prácticas de datos feministas para ayudar a llenar los vacíos de datos. Como Catherine D’Ignazio y Lauren Klein capturan en su libro, Feminismo de datos, Las prácticas de datos feministas incluyen analizar cómo opera el poder y usar datos para desafiar las estructuras de poder desiguales, superar el binario de género, valorar múltiples formas de conocimiento y sintetizar múltiples perspectivas dando prioridad al conocimiento local e indígena. Los datos feministas pueden ayudar a centrar las voces y las experiencias de las personas marginadas, incluidas las mujeres y las niñas.
Como ejemplo, Digital Democracy, una organización que trabaja con comunidades marginadas para defender sus derechos a través de la tecnología, trabajó con grupos comunitarios locales como la Comisión de Mujeres Víctimas por Víctimas (KOFAVIV) para construir un sistema seguro para recopilar datos sobre violencia de género. en Haití. El sistema permitió a las mujeres locales rastrear, analizar, mapear y compartir datos.
Otro paso importante es reconocer y trabajar contra las prácticas de datos dañinos, como se describe en el Manifiesto de datos feministas-No.
2. Preste su experiencia al campo de la IA con igualdad de género, defienda la alfabetización en IA y únase a la conversación. Al integrar la experiencia en género en los sistemas de IA, los desarrolladores y gerentes de ML pueden comprender mejor los problemas y las soluciones para mitigar los prejuicios de género.
Esto comienza abogando por la capacitación en alfabetización en inteligencia artificial entre los expertos en género y participando en la conversación pidiendo a los organizadores de la conferencia sesiones y talleres sobre género e inteligencia artificial. No fue hace mucho, por ejemplo, que los expertos en género estuvieron en gran parte ausentes de las discusiones sobre inversión de impacto. Talleres como los realizados por Criterion Institute, que incluyeron capacitación sobre conceptos de inversión financiera y consideraciones de género, ayudaron a investigadores y profesionales con experiencia en género a comprender mejor el campo de la inversión de impacto, así como a participar y, en última instancia, avanzar en el trabajo de inversión con enfoque de género y iniciativas.
3. Al considerar o utilizar sistemas de inteligencia artificial para abordar las brechas de género, piense críticamente acerca de OMS está representado en el equipo que desarrolla ese sistema de IA, así como qué datos están usando y cómo desarrollan el algoritmo.
La IA se utiliza cada vez más para abordar los desafíos del desarrollo global, incluida la desigualdad de género, y las organizaciones de la sociedad civil se están sumando. Por ejemplo, Women’s World Banking y Mujer Financiera están utilizando ML para apoyar la inclusión financiera de las mujeres. Es importante insistir y apoyar a los desarrolladores de ML para que centren las voces de las mujeres y las personas no binarias en el desarrollo, la creación y la gestión de estos sistemas de IA. Además, haga su debida diligencia y evalúe los posibles sistemas de IA en busca de sesgos de género y consecuencias no deseadas antes de usarlos.
Qué pueden hacer los desarrolladores de ML
Cuando los sistemas de AA se construyen para siempre, pueden evadir el análisis crítico sobre el sesgo y la posibilidad de consecuencias no deseadas. La intención de construir un sistema para siempre no es suficiente. Para ayudar a los investigadores y líderes de empresas y organizaciones que desarrollan sistemas de IA a catalizar el aprendizaje automático inteligente en términos de género, los líderes del cambio social deben alentar a los socios de desarrollo del aprendizaje automático a perseguir y promover lo siguiente:
1. Integrar y promover la diversidad, la equidad y la inclusión de género entre los equipos que desarrollan y administran sistemas de IA. Esto es necesario si creemos en el potencial de la IA para permitir un mundo más justo. Un estudio reciente mostró que diversos grupos demográficos son mejores para disminuir el sesgo algorítmico. Actúe asegurando que la diversidad sea una prioridad central del liderazgo y actualizando las políticas, prácticas y estructuras institucionales para apoyar la diversidad y la inclusión.
2. Reconozca que los datos y los algoritmos no son neutrales y luego haga algo al respecto. Documente lo que hay en sus conjuntos de datos de AA (por ejemplo, a través de hojas de datos para conjuntos de datos) y modelos de AA (como a través de tarjetas de modelo). Evalúe los conjuntos de datos para detectar la subrepresentación de diferentes identidades de género y las desigualdades subyacentes que reflejan la realidad pero que, en última instancia, son problemáticas. Finalmente, asóciese con expertos en género para integrar principios y enfoques de datos feministas, diagnosticar y abordar los posibles impactos de género de un algoritmo y realizar auditorías de algoritmos con una perspectiva de género.
3. Centrar las voces de los miembros de la comunidad marginados, incluidas las mujeres y las personas no binarias, en el desarrollo de sistemas de inteligencia artificial. Apoyar la investigación y aprender de otros sectores, como la energía sin conexión a la red y la cocina más limpia, que han incorporado el diseño participativo y la investigación de acción participativa en el desarrollo de tecnologías.
4. Establecer enfoques de gobernanza sensibles al género para una IA responsable. Al desarrollar estructuras de gobernanza de la ética de la IA (una junta y un líder de ética de la IA), asegúrese de que haya diversidad de género. Dentro de los códigos y principios de la IA responsable o ética, piense críticamente sobre cómo incorporar la justicia y la equidad relacionadas con el género y otras identidades marginadas. (Consulte este informe de la UNESCO para obtener orientación sobre cómo incorporar las consideraciones de igualdad de género en los principios de IA).
Estas acciones no son exhaustivas, pero brindan un punto de partida para construir un aprendizaje automático inteligente en términos de género que promueva la equidad. No perdamos esta oportunidad de revolucionar la forma en que pensamos, diseñamos y administramos los sistemas de inteligencia artificial y, por lo tanto, buscamos un mundo más justo hoy y para las generaciones futuras.