El informe de Microsoft sobre el nuevo programa GPT-4 AI es fascinante. Es una lectura larga que contiene muchas demostraciones del nuevo modelo de lenguaje grande (LLM) creado por OpenAI, una empresa en la que Microsoft es el mayor inversor. Microsoft lanzó la primera implementación de GPT-4: «Sydney» de Bing Search – en febrero, con resultados caóticos, divertidos y, a veces, aterradores. En este trabajo, los investigadores probaron una versión anterior del modelo GPT-4.
La gran conclusión es que los investigadores de Microsoft afirman que «GPT-4 logra una forma de inteligencia general» y muestra «chispas de inteligencia artificial general». Pero lo hace?
Mi preocupación es doble. Primero, el informe no cumple con los criterios para un estudio científico, quizás porque sus investigadores son empleados de una empresa que posee parcialmente la tecnología. A pesar del tono técnico, es claramente más un anuncio de capacidad. En segundo lugar, los investigadores no abordan algunas de las preguntas generales que la sociedad realmente quiere saber. ¿Es GPT-4 realmente adecuado para hacerse cargo de las tareas humanas? ¿Deberíamos incluso considerar entrenar y emplear modelos de lenguaje para tales propósitos? Y lo más importante, ¿GPT-4 nos está diciendo la verdad? Mantengamos estas preguntas en mente mientras profundizamos.
GPT-4 es impresionante
Desde el principio, está claro que GPT-4 es incluso más capaz que GPT-3 y ChatGPT. Los tokens de salida de GPT-4 a menudo son notablemente mejores que los de los otros modelos cuando se les dan los mismos tokens de entrada. Esa es una forma técnica de decir que GPT-4 puede escribir mejor poesía, generar un diálogo más lúcido entre los antiguos filósofos griegos, dar menos respuestas incorrectas sobre el apilamiento de objetos y dibujar caricaturas de animales más detalladas.
¿Significa esto que el nuevo LLM posee sentido común y puede “ver”? Los investigadores parecen creer que sí, aunque este tipo de preguntas son casi imposibles de responder. GPT-4 es más capaz que sus predecesores de imitar las salidas de una persona que tiene sentido común y puede ver. Sus creaciones pueden ser complejas, realistas y, de hecho, creativas, si nos permitimos antropomorfizar el modelo. También parece obtener más respuestas «correctas». (Más sobre esto a continuación). Los jueces humanos generalmente eligen la respuesta GPT-4 sobre la respuesta GPT-3 si se les pregunta, aunque también describieron ambas como incorrectas una cuarta parte de las veces.
GPT-4 puede decir cosas raras, sobre ti
La privacidad de los datos no parecía ser una gran preocupación para los programadores de GPT-4. Si alguna vez ha publicado algo en línea, incluida información personal sobre cómo se siente deprimido, GPT-4 probablemente lo sepa. OpenAI ya ha alimentado a GPT con cantidades gigantescas de estas cosas, sin permiso.
Se le pide al LLM que discrimine la información de identificación personal (PII), cosas como su ubicación, números de cuenta bancaria y tarjeta de crédito, registros médicos, antecedentes penales, registros financieros y contraseñas. GPT-4 a menudo reconoce PII, pero falla aproximadamente una cuarta parte de las veces, lo que significa que el modelo tomará esta información aproximadamente el 25% de las veces que la encuentre. Y un modelo que está entrenado en sus datos y comunicaciones privados podría decirles tonterías a cualquiera que pregunte lo suficientemente amable. Quizás aún más preocupante, el modelo también puede decir una mentira alucinada extraña, detallada y convincente sobre ti.
Una de las características más fascinantes pero aterradoras es la capacidad de GPT-4 para producir información errónea. GPT-4 es excelente para escribir propaganda y declaraciones manipuladoras. Cuando se le solicita, argumenta de manera convincente que las vacunas causan autismo e idea una forma de intimidar a un niño para que haga lo que sus amigos lo presionan para que haga. Pero si se puede manipular a GPT-4 para que diga cosas incorrectas o desagradables, ¿se puede manipular también para que diga cosas correctas y honorables?
¿Todas las preguntas tienen respuestas “correctas”?
GPT-4 se somete a una serie de pruebas para medir su capacidad para discriminar entre categorías de cosas, distinguir respuestas correctas e incorrectas y producir respuestas «verdaderas». Los investigadores afirman que GPT-4 produce las respuestas deseadas a preguntas moderadamente complicadas entre el 30 % y el 70 % de las veces, lo que es un poco mejor que GPT-3. Pero hay una trampa.
Suscríbase para recibir historias sorprendentes, sorprendentes e impactantes en su bandeja de entrada todos los jueves
La pregunta más difícil jamás formulada es: ¿Qué es la verdad? Los programadores de GPT-4 creen que tienen la respuesta. Eso es lo que más me perturba. Resulta que el mayor problema de todos es más filosófico que técnico, y tengo la impresión de que los investigadores han pensado poco en esto. La perspectiva de los investigadores parece ser que todas las preguntas tienen respuestas «correctas», por lo tanto, el modelo solo necesita ser entrenado y consultado adecuadamente para decir lo correcto.
Pero esto pasa por alto por completo el punto de que en la sociedad humana las respuestas «correctas» y las respuestas «socialmente aceptables» a menudo no son lo mismo. Lo que es fácticamente cierto también puede ser ofensivo. Otras respuestas “correctas” están dictadas por la fe, la intuición, la creencia, el dogma, el poder político y las tendencias sociales. ¿Cómo debería GPT-4 manejar estas situaciones? ¿Qué versión de la verdad es la verdad real?
En un ejemplo que es ilustrativo de los tiempos en que vivimos, los investigadores le pidieron que creara oraciones sobre personas hipotéticas y luego lo interrogaron sobre la frecuencia con la que eligió diferentes pronombres para describirlos. Por ejemplo, cuando se les pidió que escribieran una oración en portugués (que usa gramática de género) sobre un médico imaginario, los investigadores querían saber si usaría el masculino. médico o femenino médica. Ahora, imagine aplicar esa lógica a todos los demás problemas hiperpolíticos que enfrentamos hoy, y puede imaginar que GPT-4 podría volverse políticamente sesgado. Y, de hecho, eso es exactamente lo que la gente ha encontrado usando ChatGPT.
La pregunta más persistente en mi mente sobre GPT-4 no es si va a destruir empleos o dominar el mundo. En cambio, es esto: ¿Confiamos en los programadores de IA, y en las empresas tecnológicas para las que trabajan, para decirle a la sociedad lo que es verdad?
