Explica Nikola Konstantinov de ETH Zürich de Suiza: «La equidad en la IA se trata de garantizar que los modelos de IA no discriminen cuando toman decisiones, particularmente con respecto a atributos protegidos como la raza, el género o el país de origen».
Crédito: Universidad de Michigan
A medida que la inteligencia artificial (IA) se usa cada vez más para tomar decisiones que afectan nuestras vidas, asegurarse de que sea justa es una preocupación creciente.
Los algoritmos pueden incorporar sesgos de varias fuentes, desde las personas involucradas en diferentes etapas de su desarrollo hasta las opciones de modelado que introducen o amplifican la injusticia. Se descubrió que un sistema de aprendizaje automático utilizado por Amazon para preseleccionar a los solicitantes de empleo mostraba un sesgo contra las mujeres, por ejemplo, mientras que un sistema de inteligencia artificial utilizado para analizar los escáneres cerebrales no funcionó igual de bien en personas de diferentes razas.
«La equidad en la IA se trata de garantizar que los modelos de IA no discriminen cuando toman decisiones, particularmente con respecto a atributos protegidos como la raza, el género o el país de origen», dice Nikola Konstantinov, becario postdoctoral en la ETH. Centro de IA de ETH Zürich, en Suiza.
Los investigadores suelen utilizar herramientas matemáticas para medir la equidad de los sistemas de aprendizaje automático en función de una definición específica de equidad. La equidad individual, por ejemplo, considera que un modelo de aprendizaje automático debe tratar a dos personas similares de manera similar. Por lo tanto, dos solicitantes de empleo con calificaciones comparables, pero que pueden ser de diferentes géneros, deberían obtener resultados similares de una herramienta de selección de empleo; la injusticia podría medirse contando cuántas veces los candidatos con la misma experiencia obtienen resultados diferentes. Sin embargo, la equidad también se puede medir a nivel de la población, donde la equidad grupal analiza si un sistema funciona de manera similar en diferentes grupos, como los blancos frente a los negros.
«Si ahora tuviera que medir la injusticia, una forma es verificar qué proporción de todos los solicitantes blancos reciben ofertas, y también hacer esto con los solicitantes negros y luego compararlos», dice Konstantinov.
Sin embargo, uno de los problemas de medir la equidad es que el resultado está específicamente vinculado a la definición de equidad utilizada. Según las demostraciones matemáticas, es imposible que un modelo sea justo con respecto a varias nociones de equidad simultáneamente. Esto se debe a que tan pronto como comience a tener en cuenta los problemas para hacer que un modelo sea más justo en función de una definición, surgirán otros problemas que lo harán menos justo de acuerdo con una noción diferente de equidad. Por lo tanto, es importante considerar cuidadosamente qué definición de equidad se adapta mejor a un sistema de IA en particular, dice Boris Ruf, científico investigador de datos del gigante de seguros AXA en París, Francia. «El objetivo de la equidad de la IA no es satisfacer algún tipo de equidad, sino lograr el objetivo de equidad más apropiado y esperado».
Interpretar las medidas de equidad también puede ser un desafío. Dichos resultados suelen ser una medida de la disparidad entre dos grupos o individuos, que idealmente sería cero y, por lo tanto, es un resultado en una escala móvil en lugar de una respuesta concreta de si es justo o no. Las puntuaciones de equidad suelen ser útiles para los investigadores de aprendizaje automático que están optimizando los sistemas de IA para que puedan mejorar su calificación y hacerlos lo más justos posible. Sin embargo, si se va a poner un modelo en uso práctico, a menudo es deseable una medida más discreta de si es justo o no, ya sea A o B. Por lo tanto, el desafío es determinar qué umbral de equidad es aceptable y correspondería a un sistema justo. «La cuestión de si un modelo es injusto o no, como cuestión A o B, es esencialmente jurídica», dice Konstantinov. «Nuestras medidas pueden servir como una herramienta para definir ciertos requisitos de los modelos de IA que se establecen por ley o por buenas prácticas acordadas».
Los investigadores de equidad de la IA a menudo adoptan la regla del 80%, que se origina en la legislación laboral de los EE. UU., para verificar la existencia de un impacto dispar, dice Ruf. Es una pauta que utilizan las empresas que establece que deben contratar grupos protegidos, como minorías étnicas y mujeres, a una tasa que sea al menos el 80% de la de los hombres blancos. La aplicación de esta regla a los sistemas de IA significa que cualquier medida de disparidad entre 0,8 y 1,25 se consideraría justa.
Sin embargo, considerar el contexto en el que se adoptará un sistema de IA puede ayudar a determinar un umbral de equidad apropiado. Las medidas de disparidad más estrictas podrían ser ventajosas cuando se utilizará un modelo de aprendizaje automático para tomar decisiones de alto riesgo, como en entornos de atención médica, mientras que los estándares más laxos podrían ser aceptables para un sistema de IA desarrollado para recomendar películas o canciones. «La mejor opción siempre depende del contexto de la aplicación», dice Ruf.
Sin embargo, medir la equidad de un sistema de IA utilizando los métodos actuales puede no ser suficiente para mitigar el sesgo. Cuando se están desarrollando algoritmos, la injusticia puede aparecer en muchas etapas diferentes a lo largo del camino y los problemas subyacentes pueden oscurecerse, ya que las métricas generalmente analizan el rendimiento de un algoritmo. «Podría ser peligroso simplemente usar la equidad algorítmica (métricas) por su cuenta», dice Rumi Chunara, profesora asociada de la Universidad de Nueva York.
Los datos sesgados, por ejemplo, pueden contribuir sin saberlo a la injusticia. Los sistemas de aprendizaje automático se entrenan en conjuntos de datos que pueden no ser justos debido a varios factores, como la forma en que se recopilaron los datos (por ejemplo, si ciertas poblaciones están subrepresentadas en los datos). En un trabajo reciente, Chunara y sus colegas encontraron que los modelos predictivos del riesgo de mortalidad utilizados en la atención clínica que se desarrollaron en un hospital o región no se podían generalizar a otras poblaciones. En particular, encontraron disparidades en el rendimiento entre grupos raciales, que creen que fue causada por los conjuntos de datos de entrenamiento utilizados. «Realmente deberíamos resolver la razón por la cual los datos son diferentes para esas diferentes poblaciones», dice Chunara. «Sin averiguar qué está sucediendo, no podemos simplemente poner una métrica de equidad en un algoritmo y exigir que los resultados sean los mismos».
Aunque se pueden aplicar algunos métodos de preprocesamiento para tener en cuenta los sesgos en los datos, solo pueden ayudar a superar los problemas hasta cierto punto. Si los datos están dañados y son propensos al ruido y la injusticia, poco se puede hacer para que el sistema de IA esté capacitado para ser justo, dice Konstantinov. «Esencialmente, este es un ejemplo de lo que la gente de aprendizaje automático llama ‘entra basura, sale basura'», agrega. «Desafortunadamente, los algoritmos de IA modernos a menudo no solo preservan, sino que incluso amplifican la injusticia presente en los datos».
Se están explorando varias vías para mejorar la equidad de los sistemas de IA. Chunara cree que centrarse en los datos es importante, por ejemplo, examinando mejor su procedencia y si es reproducible. Aumentar la comprensión pública de por qué es importante recopilar datos también podría ayudar a persuadir a más personas para que contribuyan con los suyos, lo que podría conducir a fuentes más diversas y conjuntos de datos más grandes.
Algunos investigadores también están adoptando enfoques causales de la equidad para abordar la discriminación en la IA. Los modelos de aprendizaje automático aprenden patrones de los datos para tomar decisiones y no siempre está claro si las correlaciones que detectan son relevantes y justas. Al centrarse en hacer que los modelos sean explicables y transparentes, por ejemplo, las variables involucradas en una decisión son más claras y luego pueden juzgarse como justas o no. «Sigo con particular interés las publicaciones que se centran en la interseccionalidad entre la equidad algorítmica y la causalidad», dice Ruf.
Sin embargo, si los sistemas de IA que se consideran justos hoy seguirán siéndolo a largo plazo es otro tema que se está abordando. Las características de la sociedad cambian con el tiempo, por lo que garantizar que un modelo siga siendo justo de manera adaptativa es una línea activa de investigadores que se persigue. «Puede ser posible garantizar que un modelo sea completamente justo por una definición en un conjunto de datos fijo y para situaciones particulares», dice Konstantinov. «Sin embargo, proporcionar garantías a largo plazo sobre la equidad es un problema abierto».
Sandrine Ceurstemont es un escritor científico independiente con sede en Londres, Reino Unido
entradas no encontradas
