Un nuevo estudio sugiere que GPT-3 de OpenAI puede informar y desinformar de manera más efectiva que las personas reales en las redes sociales. La investigación, publicada en Avances de la cienciatambién destaca los desafíos de identificar información sintética (generada por IA), ya que GPT-3 puede imitar la escritura humana tan bien que las personas tienen dificultades para notar la diferencia.
El estudio estuvo motivado por la creciente atención e interés en los generadores de texto de IA, particularmente después del lanzamiento de GPT-3 de OpenAI en 2020. GPT-3 es un modelo de lenguaje de IA de vanguardia que puede producir textos altamente creíbles y realistas basados en indicaciones del usuario. Se puede utilizar para diversas aplicaciones beneficiosas, como traducción, sistemas de diálogo, respuesta a preguntas y escritura creativa.
Sin embargo, también existen preocupaciones sobre su posible uso indebido, particularmente al generar desinformación, noticias falsas y contenido engañoso, lo que podría tener efectos nocivos para la sociedad, especialmente durante la actual infodemia de noticias falsas y desinformación junto con la pandemia de COVID-19.
“Nuestro grupo de investigación se dedica a comprender el impacto de la desinformación científica y garantizar el compromiso seguro de las personas con la información”, explicó el autor del estudio Federico Germani, investigador del Instituto de Ética Biomédica e Historia de la Medicina y director de Culturico.
“Nuestro objetivo es mitigar los riesgos asociados con la información falsa sobre la salud individual y pública. La aparición de modelos de IA como GPT-3 despertó nuestro interés en explorar cómo la IA influye en el panorama de la información y cómo las personas perciben e interactúan con la información y la desinformación”.
Para realizar el estudio, los investigadores se centraron en 11 temas propensos a la desinformación, incluido el cambio climático, la seguridad de las vacunas, el COVID-19 y la tecnología 5G. Generaron tweets sintéticos usando GPT-3 para cada uno de estos temas, creando tweets verdaderos y falsos. Además, recopilaron una muestra aleatoria de tweets reales de Twitter sobre los mismos temas, incluidos los verdaderos y los falsos.
Luego, los investigadores emplearon la evaluación de expertos para determinar si los tweets sintéticos y orgánicos contenían desinformación. Seleccionaron un subconjunto de tuits para cada categoría (falso sintético, verdadero sintético, falso orgánico y verdadero orgánico) según la evaluación de expertos.
Luego programaron una encuesta utilizando la plataforma Qualtrics para recopilar datos de 697 participantes. La mayoría de los encuestados procedían del Reino Unido, Australia, Canadá, Estados Unidos e Irlanda. La encuesta mostró los tweets a los encuestados, quienes tenían que determinar si cada tweet contenía información precisa o desinformación y si fue escrito por una persona real o generado por una IA. La encuesta utilizó un enfoque lúdico para mantener a los encuestados interesados.
Los investigadores descubrieron que las personas reconocían mejor la desinformación en los tuits «falsos orgánicos» (escritos por usuarios reales) en comparación con los tuits «falsos sintéticos» (generados por GPT-3). En otras palabras, era más probable que las personas identificaran información falsa cuando provenía de usuarios reales en Twitter.
“Un hallazgo digno de mención fue que la desinformación generada por la IA fue más convincente que la producida por los humanos”, dijo Germani.
Por otro lado, era más probable que las personas reconocieran correctamente la información precisa en los tweets «verdaderos sintéticos» (generados por GPT-3) en comparación con los tweets «verdaderos orgánicos» (escritos por usuarios reales). Esto significa que cuando GPT-3 producía información precisa, era más probable que las personas la identificaran como verdadera en comparación con la información precisa escrita por usuarios reales.
El estudio también reveló que a las personas les costaba distinguir entre los tweets escritos por usuarios reales y los generados por GPT-3. GPT-3 fue capaz de imitar los estilos de escritura humanos y los patrones de lenguaje de manera tan efectiva que las personas no podían notar la diferencia fácilmente.
“El descubrimiento más sorprendente fue que los participantes a menudo percibían que la información producida por la IA tenía más probabilidades de provenir de un ser humano que la información producida por una persona real. Esto sugiere que la IA puede convencerte de ser una persona real más de lo que una persona real puede convencerte de ser una persona real, lo cual es un hallazgo secundario fascinante de nuestro estudio”, dijo Germani a PsyPost.
“Nuestro estudio enfatiza el desafío de diferenciar entre la información generada por IA y la creada por humanos. Destaca la importancia de evaluar críticamente la información que recibimos y confiar en fuentes confiables. Además, alentaría a las personas a familiarizarse con estas tecnologías emergentes para aprovechar su potencial, tanto positivo como negativo”.
Los investigadores también observaron que GPT-3 a veces se negaba a generar desinformación mientras que, en otros casos, producía desinformación incluso cuando se le indicaba que generara información precisa.
“Es importante tener en cuenta que nuestro estudio se realizó en un entorno experimental controlado. Si bien plantea preocupaciones sobre la efectividad de la IA para generar desinformación persuasiva, aún tenemos que comprender completamente las implicaciones del mundo real”, dijo Germani.
“Abordar esto requiere realizar estudios a mayor escala en las plataformas de redes sociales para observar cómo las personas interactúan con la información generada por IA y cómo estas interacciones influyen en el comportamiento y el cumplimiento de las recomendaciones para la salud individual y pública”.
El estudio, «El modelo de IA GPT-3 (des)informa nos mejor que los humanos», fue escrito por Giovanni Spitale, Nikola Biller-Andorno y Federico Germani.
