Los detectores de GPT marcaron erróneamente la mayoría de los envíos de hablantes no nativos de inglés como contenido generado por IA, lo que generó preocupaciones sobre su uso.
Para bien o para mal, los modelos generativos de IA han provocado una revolución. Su popularidad se ha disparado desde su lanzamiento, ofreciendo una gama de capacidades crecientes, como la capacidad de generar código, imágenes, música, texto, simulaciones, videos y más.
“En solo 2 meses de su lanzamiento, ChatGPT acumuló más de 100 millones de usuarios activos mensuales, marcando su lugar como una de las aplicaciones de Internet para consumidores de más rápido crecimiento en la historia”, escribió un equipo de investigadores de Stanford en un artículo reciente publicado en la revista. Patrones.
Si bien el ritmo de desarrollo ha sido asombroso, con un potencial creciente de esta nueva tecnología para mejorar la productividad y fomentar la creatividad, ¿qué sucede cuando se usa en áreas, particularmente en educación, donde las evaluaciones, las calificaciones, las aplicaciones e incluso los títulos dependen del trabajo escrito? ?
“Nadie está preparado para saber cómo la IA transformará la academia”, escribió Stephen Marche en un ensayo para El Atlántico. Y es difícil ver a dónde conducirá esto.
Una preocupación, dice James Zhou, profesor asistente en Stanford y autor principal del estudio publicado en Patrónes que muchas escuelas, empresas y agencias gubernamentales están usando o planean usar detectores que afirman poder identificar si el texto es generado por IA, pero no son precisos y tienen un sesgo alarmante contra los hablantes no nativos de inglés.
Sesgo en el sistema
Para demostrar la precisión mediocre de los detectores GPT y cómo esto está penalizando inadvertidamente a las personas con dominio lingüístico limitado, Zhou y sus colegas hicieron que siete detectores GPT populares evaluaran muestras de escritura de hablantes nativos y no nativos.
Les dieron 91 ensayos en inglés escritos para una prueba estándar de competencia en inglés llamada Test of English as a Foreign Language (TOEFL) de un foro chino, así como 88 ensayos de octavo grado de EE. UU. del conjunto de datos ASAP de la Fundación Hewlett.
“La mayoría de los ensayos escritos por hablantes no nativos de inglés son marcados falsamente por todos los detectores como generados por IA”, dijo Zhou. Más de la mitad de las muestras de escritura en inglés no nativo se clasificaron erróneamente como generadas por IA, y un detector marcó casi el 98 % de los ensayos TOEFL, mientras que la precisión de las muestras nativas se mantuvo casi perfecta.
Según el equipo, esto se basa en el nivel de «perplejidad» de un trabajo determinado. “La perplejidad básicamente mide cuán sorprendentes son las opciones de palabras en el texto”, explicó Zhou. “El texto con opciones de palabras simples o comunes tiende a tener menos perplejidad. Es más probable que estos detectores marquen texto con poca perplejidad como generado por IA”.
“Además, son muy fáciles de engañar”, agregó. Usando mejores indicaciones y pidiéndole a ChatGPT que escriba usando un lenguaje más sofisticado, los detectores podrían pasarse por alto, clasificando estos envíos como escritos por humanos porque tienen una mayor perplejidad de ingeniería.
“Esto plantea una pregunta fundamental”, escribieron los autores en su artículo. «Si el contenido generado por IA puede evadir fácilmente la detección mientras que el texto humano se clasifica erróneamente con frecuencia, ¿qué tan efectivos son realmente estos detectores?»
Esto podría generar problemas importantes, ya que es más probable que los hablantes no nativos sean acusados erróneamente de hacer trampa por detectores inexactos. Pero el problema no termina aquí, ya que los motores de búsqueda como Google, que genera la mayoría del tráfico web, dicen que el contenido generado por IA va en contra de sus pautas y, posteriormente, se caracteriza como spam. Esto conduciría inadvertidamente a que los escritores no nativos del inglés se volvieran invisibles en línea.
Una retención recomendada en los detectores
Al igual que con cualquier tecnología nueva, existen ventajas y desventajas que deben sortearse con cuidado para minimizar los efectos perjudiciales. Los beneficios de los modelos de lenguaje, como ChatGPT, apenas comienzan a revelarse y, en lugar de prohibir esta tecnología, quizás los sistemas actuales puedan evolucionar con ella.
Por ejemplo, contar con la ayuda de ChatGPT para mejorar un currículum podría nivelar el campo de juego, poniendo más énfasis en las entrevistas y la demostración de habilidades, y haciendo que el reclutamiento sea más equitativo. O quizás nuestros sistemas educativos podrían incorporar modelos lingüísticos en sus programas de aprendizaje. “Podríamos enseñar a estudiantes e investigadores cómo usar creativamente [language models] para mejorar su educación y trabajo, y también cómo evaluar críticamente sus resultados”, dijo Zhou.
El problema, por supuesto, tiene más matices y una solución requerirá un enfoque cuidadoso. Pero la realidad es que es probable que esta tecnología no vaya a ninguna parte, por lo que la sociedad debe aprender a adaptarse y trabajar con ella para que las personas vulnerables no se queden atrás.
Lo que destaca el estudio actual son los peligros de aplicar detectores inexactos para enrutar donde se han utilizado. Los detectores GPT deben ser entrenados y evaluados más rigurosamente en texto de diversos tipos de usuarios si se van a utilizar en el futuro, según Zhou.
“Nuestra recomendación actual es que debemos ser extremadamente cuidadosos y tratar de evitar el uso de estos detectores tanto como sea posible”, dijo Zhou. “Puede tener consecuencias significativas”.
Referencia: James Zhou, et al., Los detectores de GPT están sesgados contra los escritores no nativos en inglés, Patterns (2023). DOI: 10.1016/j.patter.2023.100779
Crédito de la imagen destacada: Ralph van Root en Unsplash
