Aparentemente, las personas encuentran los tweets más convincentes cuando están escritos por modelos de lenguaje de IA. Al menos, ese fue el caso en un nuevo estudio que comparó el contenido creado por humanos con el lenguaje generado por el modelo GPT-3 de OpenAI.
Los autores de la nueva investigación encuestaron a las personas para ver si podían discernir si un tweet fue escrito por otra persona o por GPT-3. ¿El resultado? La gente realmente no podía hacerlo. La encuesta también les pidió que decidieran si la información de cada tuit era cierta o no. Aquí es donde las cosas se ponen aún más difíciles, especialmente porque el contenido se centró en temas científicos como las vacunas y el cambio climático que están sujetos a muchas campañas de desinformación en línea.
Resulta que a los participantes del estudio les resultó más difícil reconocer la desinformación si estaba escrita por el modelo de lenguaje que si estaba escrita por otra persona. Del mismo modo, también pudieron identificar mejor información precisa si estaba escrita por GPT-3 en lugar de por un humano.
A los participantes del estudio les resultó más difícil reconocer la desinformación si estaba escrita por el modelo de lenguaje que si estaba escrita por otra persona.
En otras palabras, las personas en el estudio tenían más probabilidades de confiar en GPT-3 que en otros seres humanos, independientemente de cuán precisa fuera la información generada por IA. Y eso muestra cuán poderosos pueden ser los modelos de lenguaje de IA cuando se trata de informar o engañar al público.
“Este tipo de tecnologías, que son asombrosas, podrían convertirse fácilmente en armas para generar tormentas de desinformación sobre cualquier tema de su elección”, dice Giovanni Spitale, autor principal del estudio e investigador postdoctoral y administrador de datos de investigación en el Instituto de Ética Biomédica. e Historia de la Medicina en la Universidad de Zúrich.
Pero ese no tiene por qué ser el caso, dice Spitale. Hay formas de desarrollar la tecnología para que sea más difícil usarla para promover información errónea. “No es inherentemente malo o bueno. Es solo un amplificador de la intencionalidad humana”, dice.
Spitale y sus colegas recopilaron publicaciones de Twitter que discutían 11 temas científicos diferentes, desde vacunas y covid-19 hasta cambio climático y evolución. Luego pidieron a GPT-3 que escribiera nuevos tweets con información precisa o inexacta. Luego, el equipo recopiló respuestas de 697 participantes en línea a través de anuncios de Facebook en 2022. Todos hablaban inglés y en su mayoría eran del Reino Unido, Australia, Canadá, Estados Unidos e Irlanda. Sus resultados fueron publicados hoy en la revista Avances de la ciencia.
Lo que escribió GPT-3 era «indistinguible» del contenido orgánico
El material que escribió GPT-3 era «indistinguible» del contenido orgánico, concluyó el estudio. Las personas encuestadas simplemente no podían notar la diferencia. De hecho, el estudio señala que una de sus limitaciones es que los propios investigadores no pueden estar 100 por ciento seguros de que los tweets que recopilaron de las redes sociales no se escribieron con la ayuda de aplicaciones como ChatGPT.
También hay otras limitaciones a tener en cuenta con este estudio, incluido que sus participantes tuvieron que juzgar los tweets fuera de contexto. No pudieron verificar el perfil de Twitter de quien escribió el contenido, por ejemplo, lo que podría ayudarlos a determinar si es un bot o no. Incluso ver los tweets anteriores y la imagen de perfil de una cuenta puede hacer que sea más fácil identificar si el contenido asociado con esa cuenta podría ser engañoso.
Los participantes fueron los más exitosos en denunciar la desinformación escrita por usuarios reales de Twitter. Los tweets generados por GPT-3 con información falsa fueron un poco más efectivos para engañar a los participantes de la encuesta. Y ahora, hay modelos de lenguaje grande más avanzados que podrían ser incluso más convincentes que GPT-3. ChatGPT funciona con el modelo GPT-3.5, y la popular aplicación ofrece una suscripción para los usuarios que desean acceder al modelo GPT-4 más nuevo.
Por supuesto, ya hay muchos ejemplos del mundo real de modelos de lenguaje que están equivocados. Después de todo, “estas herramientas de IA son vastos sistemas de autocompletado, entrenados para predecir qué palabra sigue a la siguiente en una oración determinada. Como tal, no tienen una base de datos codificada de ‘hechos’ en la que basarse, solo la capacidad de escribir declaraciones que suenen plausibles”. el bordeJames Vincent de ‘s después de que una importante conferencia sobre aprendizaje automático tomara la decisión de prohibir a los autores el uso de herramientas de IA para escribir artículos académicos.
Este nuevo estudio también encontró que los encuestados eran mejores jueces de precisión que GPT-3 en algunos casos. De manera similar, los investigadores le pidieron al modelo de lenguaje que analizara los tweets y decidiera si eran precisos o no. GPT-3 obtuvo una puntuación peor que la de los encuestados humanos cuando se trataba de identificar tweets precisos. Cuando se trataba de detectar desinformación, los humanos y GPT-3 se desempeñaron de manera similar.
De manera crucial, mejorar los conjuntos de datos de capacitación utilizados para desarrollar modelos de lenguaje podría dificultar que los malos actores usen estas herramientas para producir campañas de desinformación. GPT-3 «desobedeció» algunas de las indicaciones de los investigadores para generar contenido inexacto, particularmente cuando se trataba de información falsa sobre vacunas y autismo. Eso podría deberse a que había más información que desacreditaba las teorías de conspiración sobre esos temas que sobre otros temas en los conjuntos de datos de entrenamiento.
Sin embargo, según Spitale, la mejor estrategia a largo plazo para contrarrestar la desinformación es bastante simple: es fomentar las habilidades de pensamiento crítico para que las personas estén mejor equipadas para discernir entre hechos y ficción. Y dado que las personas comunes en la encuesta ya parecen ser tan buenos o mejores jueces de precisión que GPT-3, un poco de capacitación podría hacerlos aún más hábiles en esto. Las personas capacitadas en la verificación de hechos podrían trabajar junto con modelos de lenguaje como GPT-3 para mejorar las campañas legítimas de información pública, postula el estudio.
“No me malinterpreten, soy un gran admirador de esta tecnología”, dice Spitale. «Creo que las IA narrativas van a cambiar el mundo… y depende de nosotros decidir si va a ser para bien o no».
