Primero, hubo recompensas por errores. ahora, aquí vienen las recompensas de Bias | Noticias

Por Esther Shein
Encargado por el personal del CACM

7 de abril de 2022
Comentarios

A medida que más empresas comienzan a implementar inteligencia artificial (IA) y aprendizaje automático (ML) para automatizar y optimizar los procesos, deben abordar un problema cada vez más importante: el sesgo en los algoritmos de IA.

El sesgo puede llegar a los algoritmos sin darse cuenta cuando se utilizan datos incompletos o incorrectos y/o cuando un equipo de desarrolladores carece de una diversidad de puntos de vista, procesos de pensamiento y experiencias de vida. Esto puede tener impactos en la reputación, la regulación y los ingresos de una empresa.

Para garantizar que un algoritmo no tenga fallas o sesgos inherentes, las organizaciones pueden implementar una recompensa por sesgo de IA, que los observadores de la industria dicen que es una forma rentable de obtener una cantidad de puntos de vista diferentes sobre un algoritmo. Las personas que identifican problemas graves suelen recibir una recompensa monetaria.

«No importa cuánto intente erradicar el sesgo de la IA y los modelos de IA, existirá», dice Brandon Purcell, vicepresidente y analista principal de Forrester Research, sobre la necesidad de recompensas por el sesgo algorítmico. «A menudo, porque las empresas son Si no interactúa con las posibles partes interesadas de un algoritmo, habrá ciertos puntos ciegos sobre cómo la IA discriminará a un grupo de personas».

Las empresas pueden colaborar y pagar a las personas para mitigar esos puntos ciegos antes de que el algoritmo termine impactando a muchas personas, dice Purcell. Caso en cuestión: en 2021, Twitter se convirtió en la primera empresa en lanzar una recompensa por sesgo de IA.

La empresa de redes sociales recibió aproximadamente 100 identificaciones diferentes de sesgo de su comunidad, pero terminó pagando un premio de $3500 a la persona que identificó el sesgo más generalizado en su algoritmo. La entrada ganadora fue una función que ofrece Twitter que usa IA para determinar dónde y cómo recortar una foto, dice Purcell. Un programador descubrió que la característica «favorecía las caras más jóvenes de piel clara», mientras que recortaba a las personas mayores y de piel más oscura, «por lo que hay un sesgo muy claro», dice.

Esto es emblemático de los problemas que se han visto con los sistemas de reconocimiento facial, que están «muy sujetos al sesgo algorítmico», observa Purcell. Se apresura a aclarar que este es un nombre un poco inapropiado porque no es el algoritmo el que está sesgado, pero los datos de entrenamiento se introducen en él.

El proveedor de tecnología de seguros con sede en París, Francia, Zelros, se arriesgó con una prueba de sesgo de IA al participar en un hackatón tecnológico, similar a una recompensa por sesgo, organizado en el verano de 2021 por la Autoridad de Resolución y Supervisión Prudencial de Francia (ACPR). y Banco de Francia. Debido a que los bancos y las aseguradoras deben elegir plataformas tecnológicas que cumplan con las normas, Zelros quería demostrar que no había sesgos ni discriminación en sus algoritmos de IA, dice el director ejecutivo y fundador, Christophe Bourguignat.

«Queríamos demostrar que los algoritmos de un tercero no están sesgados y también queremos influir en la regulación futura para mostrar [that] Los niveles integrados de cumplimiento están en nuestra plataforma para colocarnos en una buena posición para ganar participación de mercado», explica Bourguignat.

Zelros terminó segundo en el evento, de 12 equipos en competencia.

Casey Ellis, fundador y CTO de Bugcrowd, una plataforma de seguridad colaborativa, dice que es importante que las personas con habilidades de IA y ML «comiencen a tener una visión contradictoria de lo que hacen».

Las empresas con las que trabaja Bugcrowd ofrecen recompensas a las personas que encuentran formas de entrar en sus organizaciones. Dado que AI y ML son tecnologías relativamente nuevas, es una buena idea comenzar a «patear los neumáticos» para identificar y proteger los algoritmos del sesgo, dice Ellis.

Agrega que su trabajo de recompensas por sesgo de IA hasta la fecha ha sido en el contexto de programas privados en los sectores de servicios financieros, redes sociales y venta minorista.

Ellis cree que el interés en las recompensas por errores de IA ha aumentado desde las elecciones presidenciales de 2020. «La conversación sobre la manipulación de los algoritmos de las redes sociales para la interferencia electoral arrojó luz sobre el hecho de que el aprendizaje automático puede explotarse para causar consecuencias no deseadas», dice. «Fue entonces cuando comenzamos a ver que la gente quería hablar con nosotros sobre Prueba de sesgo de IA contradictoria. El sesgo en cualquier forma que no sea intencionado en cualquier construcción es malo».

Forrester predice que media docena de empresas lanzarán recompensas por sesgo de IA este año, principalmente en servicios financieros, ya que es una industria altamente regulada y «no puede darse el lujo de equivocarse», dice Purcell.

Cuando se le preguntó sobre el tamaño de las recompensas por errores en general, Purcell dijo: «Me temo que no puedo dar un rango, pero sugeriría que las empresas escalen los pagos en relación con la ubicuidad y la gravedad del sesgo detectado».

Purcell dijo que cree que las empresas aún no se han subido al carro de la generosidad del sesgo de la IA porque podría exponerlas a riesgos regulatorios y de reputación. «Twitter se arriesgó al ofrecer una recompensa por sesgo y, afortunadamente, no hubo muchas reacciones negativas cuando [someone] identificaron sesgos en su algoritmo de recorte de fotografías», dice Purcell. «Sí, su ropa sucia estará expuesta», por lo que la pregunta es, «¿va a enfrentar una reacción violenta de los consumidores y las regulaciones por eso, o los consumidores lo perdonarán porque está al servicio de hacer lo correcto?»

Queda por verse.

Esther Shein es una escritora independiente de tecnología y negocios con sede en el área de Boston.