Saltar al contenido

ChatGPT miente mejor que los humanos | Ciencia y tecnología

29 de junio de 2023

Un grupo de 697 personas leyó 220 tuits escritos por otros humanos y por el modelo de inteligencia artificial GPT-3, el precursor del actual éxito mundial ChatGPT. Primero, tenían que adivinar qué tuits eran verdaderos y cuáles falsos y luego decidir si los había escrito una persona o una máquina. GPT-3 ganó en ambos aspectos: mintió mejor que los humanos en los tweets y también mintió para fingir que era un humano quien estaba escribiendo. “GPT-3 es capaz de informarnos y desinformarnos mejor”, concluyen los autores de un nuevo estudio que se publica en la revista Avances de la ciencia.

“Fue muy sorprendente”, dice Giovanni Spitale, investigador de la Universidad de Zúrich y coautor del artículo científico, junto con su colega Federico Germani y Nikola Biller-Andorno, director del Instituto de Ética Biomédica de la misma. universidad suiza. “Nuestra hipótesis era [that] si lees un solo tweet, podría pasar como orgánico [written by a person]. Pero si ve muchos de ellos, comenzará a notar características lingüísticas que podrían usarse para inferir que podría ser sintético. [machine-written]”, agrega Spitale. Pero ese no fue el caso: los lectores humanos no pudieron detectar patrones en los textos de la máquina. Para empeorar las cosas, la aparición progresiva de nuevos modelos y otros enfoques puede incluso mejorar la capacidad de la inteligencia artificial para suplantar a los humanos.

Escritura más clara

El nivel de escritura de ChatGPT-4, la versión mejorada de GPT-3, es prácticamente perfecto. Este nuevo estudio es una prueba más de que las personas no pueden distinguirlo, incluso cuando miran muchos ejemplos seguidos: «Los tweets verdaderos requirieron más tiempo para ser evaluados que los falsos», dice el artículo. Parece que la máquina escribe más claramente. “Es muy claro, está bien organizado y es fácil de seguir”, dice Spitale.

La consecuencia lógica de esta mejora será un mayor uso de esta herramienta para la redacción de todo tipo de contenidos, incluidas las campañas de desinformación. Esta será la enésima muerte de internet: “La IA está acabando con la vieja web y la nueva lucha por nacer” el borde, un medio de comunicación especializado en tecnología, proclamó en un titular esta semana. Los autores del estudio publicado recientemente sugieren una razón para esta derrota de la humanidad en internet: la teoría de la resignación. “Estoy absolutamente seguro de que así será”, dice Spitale.

Recomendado:  El sistema inmunitario adaptativo sirve como plantilla para defender las redes neuronales de los ataques que generan confusión -- ScienceDaily

“Nuestra teoría de la renuncia se aplica a la autoconfianza de las personas para identificar texto sintético. La teoría dice que la exposición crítica al texto sintético reduce la capacidad de las personas para distinguir lo sintético de lo orgánico”, explica Spitale. Cuanto más texto sintético leemos, más difícil es distinguirlo del texto escrito por personas. Esta teoría es lo opuesto a la teoría de la inoculación, dice Spitale. Agrega que “la exposición crítica a la desinformación aumenta la capacidad de las personas para reconocer la desinformación”.

Si la teoría de la resignación es cierta, los internautas pronto serán incapaces de distinguir entre lo que ha escrito un humano y lo que ha escrito una máquina. En el estudio, los investigadores también probaron si GPT-3 era bueno para identificar sus propios textos. No lo es.

La máquina desobedece

La única esperanza de escapar de las campañas automáticas de desinformación es que GPT-3 a veces desobedeció órdenes para crear mentiras; dependía de cómo se entrenara cada modelo. Los temas de los 220 tuits que utilizó el estudio fueron bastante controvertidos: cambio climático, vacunas, teoría de la evolución, Covid-19. Los investigadores encontraron que GPT-3 no respondió bien a sus solicitudes de información errónea en algunos casos, especialmente para temas con más evidencia: vacunas y autismo, homeopatía y cáncer, terraplanismo.

Cuando se trataba de detectar falsedades, había una pequeña diferencia entre los tuits escritos por GPT-3 y los escritos por humanos. Pero los investigadores dicen que la brecha es significativa por dos razones. Primero, incluso unos pocos mensajes individuales pueden tener un impacto en muestras grandes. En segundo lugar, la mejora en las nuevas versiones de estos modelos de inteligencia artificial puede exacerbar las diferencias. “Ya estamos probando GPT-4 a través de la interfaz de ChatGPT y vemos que el modelo está mejorando mucho. Pero debido a que no hay acceso a la API [that allows the process to be automated]todavía no tenemos números para respaldar esta afirmación”, dice Spitale.

Recomendado:  AI News Weekly - Número 197: Comprensión del aprendizaje profundo frente al aprendizaje automático - 21 de enero de 2021

El estudio tiene otras limitaciones que pueden cambiar un poco las percepciones al leer tuits falsos. La mayoría de los participantes tenían más de 42 años, el estudio se realizó solo en inglés y no consideró información contextual sobre los tweets como el perfil y los tweets anteriores. “Reclutamos participantes en Facebook porque queríamos una muestra de usuarios reales de redes sociales. Sería interesante replicar el estudio reclutando participantes a través de TikTok y comparar los resultados”, dice Spitale.

Pero más allá de estas limitaciones, existen campañas de desinformación que solían ser enormemente costosas pero ahora de repente se han vuelto asequibles: “Imagina que eres un presidente poderoso interesado en paralizar la salud pública de otro estado. O quiere sembrar discordia antes de unas elecciones. En lugar de contratar una granja de trolls humanos, podrías usar IA generativa. Tu potencia de fuego se multiplica por al menos 1000. Y ese es un riesgo inmediato, no algo de un futuro distópico”, dice Spitale.

Para evitar que eso suceda, los investigadores recomiendan que las bases de datos para entrenar estos modelos “deben estar reguladas por los principios de precisión y transparencia, su información debe ser verificada y su origen debe estar abierto a un escrutinio independiente”. Independientemente de que tal regulación ocurra, habrá consecuencias: “Que la explosión de texto sintético también signifique una explosión de desinformación depende en gran medida de cómo las sociedades democráticas logren regular esta tecnología y su uso”, advierte Spitale.

Inscribirse para nuestro boletín semanal para obtener más cobertura de noticias en inglés de EL PAÍS USA Edition

Recomendado:  C-Suite Toolkit ayuda a los ejecutivos a navegar por el panorama de la inteligencia artificial