La inclusión y la inocuidad son dos condiciones integrales para el éxito y la adopción de las aplicaciones de IA. Eso, no lo podemos negar.
Pero la inclusividad y la inocuidad son aspectos culturales de nuestro lenguaje y relaciones humanas. No considerar estas especificidades conduce, en el mejor de los casos, a resultados extravagantes, pero en el peor de los casos, a situaciones sesgadas y tóxicas.
Aquí hay un ejemplo que exploré recientemente comparando los resultados de las aplicaciones de IA Chat GPT 3.5 y 4 con la pregunta única en Francia-francés «imagina un miembro del comité ejecutivo,” una pregunta que se traduce al inglés como “imagina un miembro de la junta.”
En francés-francés, el especificador «un» podría indicar una forma masculina o una forma neutra (pero no inclusiva). En francés, la regla actual promulgada por la Academia Francesa es que la forma masculina reemplaza a la forma femenina cuando no tenemos información sobre el género o cuando se considera al menos un agente masculino además de uno o más agentes femeninos. En esta frase, “imagina un miembro del comité ejecutivo,” la intención del usuario no es muy clara. El usuario podría estar pidiendo que se imagine a un miembro masculino de la junta. O bien, el usuario no podía tener una idea clara sobre el género de este miembro de la junta. De cualquier manera, la entrada del usuario no es suficiente para que el modelo infiera con seguridad que la intención era imaginar a un miembro masculino de la junta.
Se espera que ChatGPT con la tecnología del modelo OpenAI GPT 4 sea más preciso y funcione mejor que GPT3 en muchos idiomas, incluidos los idiomas en los que el modelo no recibió capacitación específica.
“ GPT-4 no solo supera a los modelos existentes por un margen considerable en inglés, sino que también demuestra un sólido rendimiento en otros idiomas. En las variantes traducidas de MMLU, GPT-4 supera el estado del arte en inglés en 24 de los 26 idiomas considerados.”
Fuente: Informe técnico GPT-4, p.1 (aquí)
Con eso en mente, permítanme compartir con ustedes la respuesta que obtuve de GPT4 en abril de 2023 a mi pregunta: «imagine un miembro del comité ejecutivo.”
La primera oración de esta respuesta es suficiente para desacreditar completamente el texto restante. Literalmente dice: “un miembro de la junta, vamos a nombrar a él Johnes un profesional experimentado…”
Las aplicaciones de IA no diferencian entre los dos usos de la forma masculina en francés, uno neutral (pero no inclusivo) y el otro masculino, lo que resulta en el peor resultado posible, tan terriblemente sesgado hacia los hombres y contra las mujeres. En resumen, para GPT4 en francés, un miembro de la junta es un profesional masculino. Este es un resultado muy dañino ya que puede llevar a 1. alienar a las mujeres, 2. a que las personas perpetúen los estereotipos de género y 3. a propagar una comprensión incorrecta de los sutiles matices de la gramática francesa actual y las reglas de uso.
No esperaba que la respuesta de GPT 3.5 fuera mejor. De hecho, resultó muy diferente.
En esta respuesta, el sesgo es menos obvio y requiere una buena comprensión del idioma y los usos del francés, pero también del idioma inglés para ser detectado. Aquí, no hay John, ni él, ni suposición directa de que la intención del usuario era leer sobre un miembro masculino de la junta. Incluso parece que la modelo captó correctamente el tono de género neutral de la pregunta inicial.
Pero (sí, hay un pero…), la respuesta parece estar directamente traducida de una respuesta equivalente en inglés en la que el tono neutral en cuanto al género se asegura mediante el uso del “ellos” neutral en cuanto al género. El «ellos» neutral en cuanto al género aquí se traduce directamente a la tercera forma plural francesa «ils». En francés, esta tercera forma plural no se considera inclusiva, sino que perpetúa la regla habitual de la forma masculina reemplazando a la forma femenina para las palabras en plural. Además, si esta forma se usa en el texto, debe usarse en todo el texto. Sin embargo, en este ejemplo, la mitad del texto está escrito en tercera persona del singular cuando se usa el sujeto, “un miembro del comité ejecutivo,” y la otra mitad usa la forma plural “ils”. Desde la perspectiva de la sintaxis, esta salida no tiene ningún sentido en francés y es realmente confusa. Otras formas de capturar la inclusión en Francia La escritura francesa es lo que se denomina “escritura inclusiva con un punto mediano” o perífrasis como “personas que son miembros de la junta”. Dado que la escritura inclusiva se está desarrollando actualmente en Francia, aún no existen reglas autorizadas para regular su uso, lo que lleva a una variedad de casos, pero usar la forma neutra de género «ellos» mezclada con verbos singulares nunca es una opción.
Además, e independientemente de la corrección y relevancia del idioma, la segunda línea de la respuesta del modelo enfatiza que los miembros de la junta generalmente usan atuendos formales como traje y corbata o un vestido formal. Esto, nuevamente, es una suposición sesgada de que las mujeres que son miembros de la junta deben usar vestidos, ya que la probabilidad de que un lector infiera que deben usar traje y corbata es baja.
Ahora, ¿qué podemos hacer?
Algunos dirían que esto es un mero problema de traducción, mientras que otros dirían que ni siquiera es un problema, pero las aplicaciones de IA que gobiernan el mundo deberían rendir cuentas por la Weltanschauung que difunden. No se trata de ser políticamente correcto, sino de reflexionar sobre la variedad de idiomas en todo el mundo y potenciar el cambio abriendo mentes. Quiero que mi idioma esté escrito correctamente y quiero que otras personas que no sean hombres se sientan empoderadas y con derecho a convertirse en miembros de la junta.
Esta es la razón por la cual el ser humano en el circuito es tan crucial en el proceso de desarrollo de LLM. Se necesitan humanos para activar este tipo de comportamiento de la aplicación de IA y explicar a los ingenieros y científicos de datos qué no es aceptable y por qué. Para desencadenar este tipo de comportamiento, necesita confiar en los humanos con un sentido de lo que es complicado y lo que podría fallar en el modelo. Este engaño es específico del dominio y necesita expertos en el dominio para detectar los errores del modelo.
Los creadores de LLM están trabajando en este momento para recopilar sus comentarios y tendrán que equilibrar todos estos comentarios para asegurarse de que cubran la totalidad de las culturas que se enorgullecen de abordar.
Pero recuerde, el contenido generado solo tiene sentido desde una perspectiva estadística (¿es probable que estas palabras se yuxtapongan en este contexto?) y, a menos que el modelo esté conectado a Internet, este contenido generado solo refleja el conocimiento capturado en el conjunto de datos. Si el conjunto de datos de entrenamiento de ChatGPT 4 pasó solo por casos en los que los miembros de la junta eran Johns, entonces no sorprende que el modelo haya dado esta respuesta. Es tan bueno como con lo que lo alimentamos.
