La generación más reciente de chatbots ha sacado a la luz preocupaciones de larga data sobre la creciente sofisticación y accesibilidad de la inteligencia artificial.
Los temores sobre la integridad del mercado laboral, desde la economía creativa hasta la clase gerencial, se han extendido al aula a medida que los educadores reconsideran el aprendizaje a raíz de ChatGPT.
Sin embargo, aunque las aprensiones sobre el empleo y las escuelas dominan los titulares, la verdad es que los efectos de los modelos de lenguaje a gran escala como ChatGPT tocarán prácticamente todos los rincones de nuestras vidas. Estas nuevas herramientas generan preocupaciones en toda la sociedad sobre el papel de la inteligencia artificial en el refuerzo de los sesgos sociales, el fraude y el robo de identidad, la generación de noticias falsas, la difusión de información errónea y más.
Un equipo de investigadores de la Facultad de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania busca capacitar a los usuarios de tecnología para mitigar estos riesgos. En un documento revisado por pares presentado en la reunión de febrero de 2023 de la Asociación para el Avance de la Inteligencia Artificial, los autores demuestran que las personas pueden aprender a detectar la diferencia entre el texto generado por una máquina y el escrito por humanos.
Antes de elegir una receta, compartir un artículo o proporcionar los detalles de su tarjeta de crédito, es importante saber que hay pasos que puede seguir para discernir la confiabilidad de su fuente.
El estudio, dirigido por Chris Callison-Burch, profesor asociado del Departamento de Informática y Ciencias de la Información (CIS), junto con Liam Dugan y Daphne Ippolito, Ph.D. estudiantes en CIS, proporciona evidencia de que el texto generado por IA es detectable.
«Hemos demostrado que las personas pueden entrenarse para reconocer textos generados por máquinas», dice Callison-Burch. «La gente comienza con un cierto conjunto de suposiciones sobre qué tipo de errores cometería una máquina, pero estas suposiciones no son necesariamente correctas. Con el tiempo, con suficientes ejemplos e instrucciones explícitas, podemos aprender a detectar los tipos de errores que las máquinas están haciendo actualmente».
«La IA actual es sorprendentemente buena para producir textos muy fluidos y gramaticales», agrega Dugan. «Pero comete errores. Probamos que las máquinas cometen distintos tipos de errores (errores de sentido común, errores de relevancia, errores de razonamiento y errores lógicos, por ejemplo) que podemos aprender a detectar».
El estudio utiliza datos recopilados mediante Real or Fake Text?, un juego de entrenamiento original basado en la web.
Este juego de entrenamiento se destaca por transformar el método experimental estándar para los estudios de detección en una recreación más precisa de cómo las personas usan la IA para generar texto.
En los métodos estándar, se pide a los participantes que indiquen con un sí o un no si una máquina ha producido un texto determinado. Esta tarea consiste simplemente en clasificar un texto como real o falso y las respuestas se califican como correctas o incorrectas.
El modelo de Penn refina significativamente el estudio de detección estándar en una tarea de capacitación efectiva al mostrar ejemplos que comienzan como escritos por humanos. Luego, cada ejemplo pasa al texto generado y pide a los participantes que marquen dónde creen que comienza esta transición. Los alumnos identifican y describen las características del texto que indican un error y reciben una puntuación.
Los resultados del estudio muestran que los participantes obtuvieron puntajes significativamente mejores que el azar, lo que proporciona evidencia de que el texto creado por IA es, hasta cierto punto, detectable.
«Nuestro método no solo gamifica la tarea, haciéndola más atractiva, sino que también brinda un contexto más realista para la capacitación», dice Dugan. «Los textos generados, como los producidos por ChatGPT, comienzan con indicaciones proporcionadas por humanos».
El estudio no solo habla de la inteligencia artificial actual, sino que también describe un futuro tranquilizador, incluso emocionante, para nuestra relación con esta tecnología.
«Hace cinco años», dice Dugan, «los modelos no podían mantenerse en el tema o producir una oración fluida. Ahora, rara vez cometen un error gramatical. Nuestro estudio identifica el tipo de errores que caracterizan a los chatbots de IA, pero es importante tener en cuenta Tenga en cuenta que estos errores han evolucionado y seguirán evolucionando. El cambio que debe preocuparnos no es que el texto escrito por IA sea indetectable. Es que las personas deberán continuar entrenándose para reconocer la diferencia y trabajar con software de detección como complemento. «
«La gente está ansiosa por la IA por razones válidas», dice Callison-Burch. «Nuestro estudio brinda puntos de evidencia para disipar estas ansiedades. Una vez que podamos aprovechar nuestro optimismo sobre los generadores de texto de IA, podremos prestar atención a la capacidad de estas herramientas para ayudarnos a escribir textos más imaginativos e interesantes».
Ippolito, colíder del estudio de Penn y actual científico investigador de Google, complementa el enfoque de Dugan en la detección con el énfasis de su trabajo en explorar los casos de uso más efectivos para estas herramientas. Contribuyó, por ejemplo, a Wordcraft, una herramienta de escritura creativa de IA desarrollada en conjunto con escritores publicados. Ninguno de los escritores o investigadores encontró que la IA fuera un reemplazo convincente para un escritor de ficción, pero encontraron un valor significativo en su capacidad para respaldar el proceso creativo.
«Mi sensación en este momento es que estas tecnologías son las más adecuadas para la escritura creativa», dice Callison-Burch. «Las noticias, los trabajos finales o el asesoramiento legal son malos casos de uso porque no hay garantía de factualidad».
«Hay emocionantes direcciones positivas en las que puede impulsar esta tecnología», dice Dugan. «La gente está obsesionada con los ejemplos preocupantes, como el plagio y las noticias falsas, pero ahora sabemos que podemos entrenarnos para ser mejores lectores y escritores».
