- GPT-4 fue lento pero preciso al principio. Y sorprendentemente caro de usar y ejecutar.
- Últimamente, el modelo de IA gigante se ha vuelto más rápido, pero el rendimiento ha disminuido.
- La comunidad de IA susurra sobre un rediseño radical del modelo por parte de OpenAI.
El modelo de IA más poderoso del mundo se ha vuelto, bueno, menos poderoso. Eso tiene a los expertos de la industria susurrando sobre lo que puede ser un importante rediseño del sistema.
En las últimas semanas, los usuarios de GPT-4 de OpenAI se han quejado en voz alta sobre el rendimiento degradado, y algunos calificaron el modelo de «más perezoso» y «más tonto» en comparación con sus capacidades de razonamiento anteriores y otros resultados.
En comentarios en Twitter y en el foro de desarrolladores en línea de OpenAI, los usuarios expresaron su frustración con problemas como lógica debilitada, más respuestas erróneas, pérdida de seguimiento de la información proporcionada, problemas para seguir instrucciones, olvido de agregar corchetes en el código de software básico y solo recordar la mayoría. indicación reciente.
«El GPT4 actual es decepcionante», escribió un desarrollador que usa GPT-4 para ayudarlo a codificar funciones para su sitio web. «Es como conducir un Ferrari durante un mes y, de repente, se convierte en una vieja camioneta golpeada. No estoy seguro de querer pagarla».
Peter Yang, líder de producto en Roblox, tuiteó que el modelo estaba generando resultados más rápidos pero la calidad era peor. «Solo preguntas simples como hacer que la escritura sea más clara y concisa y generar ideas», agregó. «La calidad de la escritura ha bajado en mi opinión». Preguntó si alguien más había notado esto.
«Me pareció más perezoso», respondió otro usuario, Frazier MacLeod.
Christi Kennedy escribió en el foro de desarrolladores de OpenAI que GPT-4 había comenzado a reproducir en bucle salidas de código y otra información una y otra vez.
«Es una muerte cerebral vs. antes», escribió el mes pasado. «Si en realidad no lo estás presionando con lo que podía hacer anteriormente, no te darías cuenta. Sin embargo, si realmente lo estás usando por completo, verás que obviamente es mucho más tonto».
De lento y costoso a rápido e impreciso
Este es un gran cambio con respecto a principios de este año, cuando OpenAI estaba asombrando al mundo con ChatGPT y la industria tecnológica esperaba el lanzamiento de GPT-4 con gran anticipación. ChatGPT se ejecutó originalmente en GPT-3 y GPT-3.5. Estos son los modelos gigantes de IA subyacentes que impulsan sus asombrosas respuestas.
El GPT-4 más grande se lanzó en marzo y rápidamente se convirtió en el modelo de referencia para los desarrolladores y otros expertos de la industria tecnológica. Se considera el modelo de IA más poderoso disponible en general y es multimodal, lo que significa que puede comprender imágenes y entradas de texto.
Después de la prisa inicial por probar este nuevo modelo, algunos se sorprendieron por las facturas por usar GPT-4. Fue lento pero muy preciso, según Sharon Zhou, directora ejecutiva de Lamini, una startup que ayuda a los desarrolladores a crear modelos de lenguaje grandes personalizados.
El barco de Teseo
Esa era la situación hasta hace unas semanas. Luego, GPT-4 se volvió más rápido, pero el rendimiento disminuyó notablemente, lo que impulsó la conversación en la comunidad de IA de que se estaba produciendo un cambio importante, según Zhou y otros expertos.
Piensan que OpenAI está creando varios modelos GPT-4 más pequeños que actúan de manera similar al modelo grande pero que son menos costosos de ejecutar.
El enfoque se llama Mezcla de Expertos, o MOE, según Zhou. Cada uno de los modelos expertos más pequeños está capacitado en diferentes tareas y áreas temáticas. Podría haber un mini biólogo GPT-4 y uno de física, química, etc. Cuando un usuario de GPT-4 hace una pregunta, el nuevo sistema sabe a qué modelo experto enviar esa consulta. El nuevo sistema podría decidir enviar una consulta a dos o más de estos modelos expertos por si acaso, y luego mezclar los resultados.
«Esta idea ha existido por un tiempo y es un próximo paso natural», dijo Zhou.
Zhou comparó esta situación con el experimento mental «El barco de Teseo», en el que partes del barco se intercambiaron con el tiempo, lo que plantea la pregunta: ¿en qué momento se convierte en un barco completamente nuevo?
«OpenAI está tomando GPT-4 y convirtiéndolo en una flota de barcos más pequeños», dijo. «Desde mi perspectiva, es un modelo nuevo. Algunos dirían que es lo mismo».
Insider le preguntó a OpenAI sobre todo esto el martes. La empresa, en parte propiedad de Microsoft, no respondió.
Esta semana, varios expertos en inteligencia artificial publicaron lo que afirmaron que eran detalles de la arquitectura de GPT-4 en Twitter. Yam Peleg, uno de los fundadores de una startup, tuiteó que OpenAI pudo mantener bajos los costos mediante el uso de una combinación de modelo de expertos con 16 expertos. Semianalysis escribió sobre el funcionamiento interno de GPT-4 esta semana.
George Hotz, desarrollador y hacker, describió un «modelo de mezcla de ocho vías» para GPT-4 durante un podcast reciente. Soumith Chintala, quien cofundó el proyecto de IA de código abierto PyTorch en Meta, intervino en los comentarios de Hotz.
—Soumith Chintala (@soumithchintala) 20 de junio de 2023
«Me gustaría *conjetura* que las especulaciones son más o menos precisas, pero no tengo confirmación», escribió Oren Etzioni, director ejecutivo fundador del Instituto Allen para IA, en un correo electrónico a Insider después de ver las filtraciones en línea esta semana.
Hay dos razones técnicas principales para utilizar un enfoque MOE: mejores respuestas generadas y respuestas más baratas y rápidas, explicó.
«La mezcla ‘correcta’ le dará ambos, pero a menudo hay una compensación entre costo y calidad», agregó Etzioni. «En este caso, parece anecdótico que OpenAI está sacrificando algo de calidad por un costo reducido. Estos modelos son muy difíciles de evaluar (¿qué constituye una mejor respuesta? ¿En qué casos?), así que esto no es científico, es anecdótico».
OpenAI escribió sobre el enfoque de MOE en la investigación de 2022 en coautoría del presidente Greg Brockman.
«Con el enfoque Mixture-of-Experts (MoE), solo se usa una fracción de la red para calcular la salida de cualquier entrada. Un enfoque de ejemplo es tener muchos conjuntos de pesos y la red puede elegir qué conjunto usar a través de un mecanismo de activación en el momento de la inferencia», escribieron Brockman y su colega Lilian Weng. «Esto permite muchos más parámetros sin un mayor costo de cálculo. Cada conjunto de pesos se denomina ‘expertos’, con la esperanza de que la red aprenda a asignar habilidades y cálculos especializados a cada experto».
La desconcertante disminución del rendimiento de GPT-4 en las últimas semanas bien podría estar relacionada con esta capacitación y el lanzamiento de OpenAI de esta flota de modelos GPT-4 expertos más pequeños, dijo Zhou.
«Cuando los usuarios lo prueben, haremos muchas preguntas diferentes. No funcionará tan bien, pero está recopilando datos de nosotros y mejorará y aprenderá», explicó Zhou.
