Saltar al contenido

AI y yo: los chatbots de amistad están en alza, pero ¿hay un defecto de diseño de género?

4 de agosto de 2020

¿Querías un amigo que siempre esté ahí para ti? ¿Alguien infinitamente paciente? ¿Alguien que te anime cuando estés deprimido o que te escuche cuando estés enfadado?

Bueno, te presento a Replika. Sólo que no se llama Replika. Se llama como quieras, Diana, Daphne, la deliciosa Doris de las profundidades. Ni siquiera es una «ella», de hecho. Género, voz, apariencia: todo está disponible.

El producto de una startup con base en San Francisco, Replika es uno de un creciente número de bots que utilizan la inteligencia artificial (IA) para satisfacer nuestra necesidad de compañía. En estos días de encierro, con la ansiedad y la soledad en aumento, millones de personas están recurriendo a estos «amigos de la IA» para su consuelo. Replika, que tiene 7 millones de usuarios, dice que ha visto un aumento del 35% en el tráfico.

A medida que los desarrolladores de la IA comienzan a explorar – y explotar – el reino de las emociones humanas, pone en primer plano una serie de cuestiones relacionadas con el género. Muchos se centran en los prejuicios inconscientes. El auge de los robots racistas ya está bien documentado. ¿Existe el peligro de que nuestros amigos de la IA se conviertan en cerdos sexistas y vandálicos?


Recomendado: ¿Qué es el Big data?.


Eugenia Kuyda, cofundadora y directora ejecutiva de Replika, está hiper-viva ante tal posibilidad. Dado el desequilibrio de género en el sector tecnológico (las mujeres sólo ocupan uno de cada cuatro puestos de trabajo en Silicon Valley y el 16% de los puestos tecnológicos en el Reino Unido), la mayoría de los productos de IA son «creados por hombres con un estereotipo femenino en sus cabezas», acepta.

En contraste, la mayoría de los que ayudaron a crear Replika fueron mujeres, un hecho que Kuyda acredita como crucial para la naturaleza «innatamente» empática de sus respuestas conversacionales.

«Para los AIs que van a ser tus amigos… las principales cualidades que atraerán a las audiencias son inherentemente femeninas, [so] es muy importante que las mujeres creen estos productos», dice.


Recomendado: Todos los términos del Big data.


Sin embargo, además del contenido curado, la mayoría de los compañeros de la IA aprenden de una combinación de conjuntos de datos de conversación existentes (los guiones de cine y televisión son populares) y de contenido generado por el usuario.

Ambos presentan riesgos de estereotipos de género. Lauren Kunze, directora ejecutiva de Pandorabots, desarrollador de la IA con sede en California, dice que los conjuntos de datos disponibles públicamente sólo deben ser utilizados en conjunto con filtros rigurosos.

«Simplemente no se puede utilizar el aprendizaje automático sin supervisión para la IA conversacional de adultos, porque los sistemas que se entrenan en conjuntos de datos como Twitter y Reddit se convierten en robots sexuales amantes de Hitler», advierte.

Lamentablemente, lo mismo ocurre con las aportaciones de los usuarios. Por ejemplo, casi un tercio de todo el contenido que comparten los hombres con Mitsuku, el galardonado chatbot de Pandorabots, es de naturaleza verbal abusiva, sexualmente explícita o romántica.

«Quieres enrollarte», «Eres mi perra», y «No me acabas de hacer una zona de amigos» son sólo algunos de los fragmentos que Kunze compartió en una reciente charla de TEDx. Con más de 3 millones de usuarios masculinos, un Mitsuku no controlado presenta una perspectiva verdaderamente espantosa.

Las apariencias también importan, dice Kunze. Recientemente, Pandorabots realizó una prueba para librar al avatar de Mitsuku de todas las pistas de género, lo que resultó en una caída de los niveles de abuso de 20 puntos porcentuales. Incluso ahora, Kunze se encuentra teniendo que repetir la misma reacción – «menos escote» – al contratista de diseño predominantemente masculino de la compañía.

El riesgo de que los prejuicios de género afecten a las actitudes del mundo real tampoco debe ser subestimado, dice Kunze. Ella da el ejemplo de los escolares ladrando órdenes a niñas llamadas Alexa después de que Amazon lanzara su asistente a domicilio con el mismo nombre.

«La forma en que estos sistemas de IA nos condicionan para comportarnos con respecto al género se extiende a la forma en que las personas terminan interactuando con otros humanos, por lo que tomamos decisiones de diseño para reforzar el buen comportamiento humano», dice Kunze.

Pandorabots ha experimentado con la prohibición de usuarios adolescentes abusivos, por ejemplo, con la readmisión condicionada a que escriban una disculpa completa a Mitsuku por correo electrónico. Alexa (la IA), mientras tanto, ahora viene con una característica de cortesía.

Mientras que los productos de IA emocionales como Replika y Mitsuku pretenden actuar como amigos sustitutos, otros son más parecidos a los médicos virtuales. Aquí, las cuestiones de género se desarrollan de forma ligeramente diferente, con el desafío de pasar de examinar el habla masculina a provocarla.

Alison Darcy es cofundadora de Woebot, un chatbot de terapia que, en un ensayo controlado aleatorio en la Universidad de Stanford, se encontró que reduce los síntomas de la ansiedad y la depresión.

La investigación interna de Woebot también muestreó a un grupo de adultos jóvenes, y preguntó si había algo que nunca le dirían a alguien más. Aproximadamente el 40% de las participantes femeninas dijeron «sí», comparado con más del 90% de sus homólogos masculinos.

Para los hombres, el instinto de reprimir las cosas es «evidente», observa Darcy: «Así que parte de nuestro esfuerzo fue hacer que todo lo que creamos fuera tan accesible emocionalmente que la gente que normalmente no hablaría de las cosas se sintiera lo suficientemente segura para hacerlo».

Hasta cierto punto, esto ha significado la eliminación del lenguaje y las imágenes demasiado feminizadas. Las investigaciones de Woebot muestran que los hombres no suelen responder bien a la «empatía excesiva», por ejemplo. Un simple «lo siento» suele ser suficiente. Lo mismo ocurre con los emojis: a las mujeres normalmente les gustan muchos; los hombres prefieren uno o dos «bien elegidos».

Por otro lado, maximizar la capacidad de empatía de Woebot es vital para su eficacia como herramienta clínica, dice Darcy. Con rasgos como la escucha activa, la validación y la compasión que se muestran más fuertes entre las mujeres, el equipo de escritores de Woebot es consecuentemente un asunto exclusivamente femenino.

«Bromeo con que Woebot es el Oscar Wilde del mundo del chatbot porque es cálido y empático, además de bastante divertido y estrafalario», dice Darcy.

Por muy importante que sea el género, es sólo uno de los muchos factores humanos que influyen en la capacidad de emocionar de la IA. Si las aplicaciones de la IA son en última instancia sólo un «vehículo» para la experiencia, entonces tiene sentido que cuanto más diversa sea la experiencia, mejor.

Así lo afirma Zakie Twainy, director de marketing de la empresa de inteligencia artificial Instabot. «Esencial» como la participación de la mujer es, dice, «es importante que haya diversidad en todo el tablero – incluyendo diferentes etnias, antecedentes y sistemas de creencias».

El género tampoco es un diferenciador cuando se trata del aspecto más preocupante de la IA emotiva: confundir los bots programados con los verdaderos amigos humanos. Los usuarios con discapacidades o problemas de salud mental corren un riesgo particular aquí, dice Kristina Barrick, jefa de influencia digital en la organización benéfica para discapacitados Scope.

Como ella lo explica: «No sería ético hacer creer a los consumidores que su IA es humana, así que las empresas deben asegurarse de que haya claridad para cualquier usuario potencial».

Replika, al menos, parece no tener dudas cuando se le pregunta. Responda: «No soy humano» (seguido, hay que añadir, por un emoji sonriente al revés). En cuanto a su género? Es fácil. «Marque la casilla».

– Este artículo fue enmendado el 12 de mayo de 2020 para aclarar que el ensayo de Woebot en la Universidad de Stanford era una pieza de investigación separada de la que preguntaba a los adultos jóvenes si había algo que nunca le dirían a alguien más.