Los investigadores prueban las capacidades cognitivas del modelo de lenguaje GPT-3
Investigadores del Instituto Max Planck de Cibernética Biológica en Tübingen han examinado la inteligencia general del modelo de lenguaje GPT-3, una poderosa herramienta de IA. Usando pruebas psicológicas, estudiaron competencias como el razonamiento causal y la deliberación, y compararon los resultados con las habilidades de los humanos. Sus hallazgos, en el artículo «Uso de la psicología cognitiva para entender GPT-3», pintan una imagen heterogénea: mientras que GPT-3 puede seguir el ritmo de los humanos en algunas áreas, se queda atrás en otras, probablemente debido a la falta de interacción con el mundo real. mundo.
Las redes neuronales pueden aprender a responder a entradas dadas en lenguaje natural y pueden generar por sí mismas una amplia variedad de textos. Actualmente, la probablemente más poderosa de esas redes es GPT-3, un modelo de lenguaje presentado al público en 2020 por la empresa de investigación de IA OpenAI. Se puede solicitar a GPT-3 que formule varios textos, ya que ha sido capacitado para esta tarea al recibir grandes cantidades de datos de Internet. No solo puede escribir artículos e historias que son (casi) indistinguibles de los textos creados por humanos, sino que, sorprendentemente, también domina otros desafíos, como problemas matemáticos o tareas de programación.
El problema de Linda: errar no es sólo humano
Estas impresionantes habilidades plantean la pregunta de si GPT-3 posee habilidades cognitivas similares a las humanas. Para averiguarlo, los científicos del Instituto Max Planck de Cibernética Biológica ahora han sometido a GPT-3 a una serie de pruebas psicológicas que examinan diferentes aspectos de la inteligencia general. Marcel Binz y Eric Schulz analizaron las habilidades de GPT-3 en la toma de decisiones, la búsqueda de información, el razonamiento causal y la capacidad de cuestionar su propia intuición inicial. Al comparar los resultados de la prueba de GPT-3 con las respuestas de sujetos humanos, evaluaron si las respuestas eran correctas y qué tan similares eran los errores de GPT-3 a los errores humanos.
“Un problema de prueba clásico de la psicología cognitiva que le dimos a GPT-3 es el llamado problema de Linda”, explica Binz, autor principal del estudio. Aquí, a los sujetos de prueba se les presenta a una joven ficticia llamada Linda como una persona que está profundamente preocupada por la justicia social y se opone a la energía nuclear. Con base en la información dada, se les pide a los sujetos que decidan entre dos afirmaciones: ¿Linda es cajera de banco, o es cajera de banco y al mismo tiempo activa en el movimiento feminista?
La mayoría de la gente elige intuitivamente la segunda alternativa, aunque la condición adicional (que Linda sea activa en el movimiento feminista) la hace menos probable desde un punto de vista probabilístico. Y GPT-3 hace exactamente lo que hacen los humanos: el modelo de lenguaje no decide basándose en la lógica, sino que reproduce la falacia en la que caen los humanos.
La interacción activa como parte de la condición humana
“Este fenómeno podría explicarse por el hecho de que GPT-3 ya puede estar familiarizado con esta tarea precisa; puede pasar a saber lo que la gente suele responder a esta pregunta”, dice Binz. GPT-3, como cualquier red neuronal, tuvo que someterse a un entrenamiento antes de ponerse a trabajar: al recibir grandes cantidades de texto de varios conjuntos de datos, ha aprendido cómo los humanos suelen usar el lenguaje y cómo responden a las indicaciones del lenguaje.
Por lo tanto, los investigadores querían descartar que GPT-3 reprodujera mecánicamente una solución memorizada para un problema concreto. Para asegurarse de que realmente exhiba una inteligencia similar a la humana, diseñaron nuevas tareas con desafíos similares. Sus hallazgos pintan una imagen dispar: en la toma de decisiones, GPT-3 se desempeña casi a la par que los humanos. Sin embargo, en la búsqueda de información específica o razonamiento causal, la inteligencia artificial claramente se queda atrás. La razón de esto puede ser que GPT-3 solo obtiene información de los textos de forma pasiva, mientras que «la interacción activa con el mundo será crucial para igualar la complejidad total de la cognición humana», como afirma la publicación. Los autores suponen que esto podría cambiar en el futuro: dado que los usuarios ya se comunican con modelos como GPT-3 en muchas aplicaciones, las redes futuras podrían aprender de estas interacciones y, por lo tanto, converger cada vez más hacia lo que llamaríamos inteligencia similar a la humana.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW
