Actualmente, tenemos una multitud de LLM disponibles, que abarcan variantes cerradas y abiertas. Sin embargo, hace solo unos meses, la cantidad de LLM era limitada, principalmente limitada a laboratorios de IA de propiedad corporativa con acceso restringido.
Como resultado, el año pasado, un grupo de más de 1000 investigadores de más de 60 países y más de 250 instituciones se unieron para crear BLOOM, un LLM de 176 mil millones de parámetros que puede generar texto en 46 lenguajes naturales y dialectos y 13 lenguajes de programación.
El propósito de BLOOM era ayudar a avanzar en el trabajo de investigación sobre grandes modelos de lenguaje. Pero ChatGPT cambió toda la dimensión, trayendo un cambio de paradigma en la investigación de IA. A pesar de que BLOOM estuvo disponible durante bastante tiempo, hemos visto que modelos como LLaMA tienen un mayor impacto en el código abierto. Por lo tanto, nos preguntamos, en este mundo de IA que cambia rápidamente, ¿BLOOM ha perdido un poco de relevancia?
No es un modelo de chatbot
ChatGPT cambió todo el juego con su capacidad de conversar como un ser humano. Pronto, Microsoft, que ha invertido miles de millones en OpenAI, integró ChatGPT con Bing, lo que llevó a Google a hacer lo mismo. Más recientemente, en el evento I/O de este año, Google también anunció PaLM2, un nuevo LLM.
Sin embargo, BLOOM, por otro lado, no es un chatbot sino un modelo de finalización de página web/blog/artículo. Mientras que modelos como GPT-3 y GPT-4 o LamDA pueden responder preguntas, BLOOM, por otro lado, no funciona así.
Por ejemplo, no se le puede hacer a BLOOM la pregunta ‘¿Quién es el CEO de Google?’ En cambio, el enfoque deseado sería ingresar una oración como ‘El CEO de Google es’ seguida de un guión, y el modelo luego completaría la oración con la información adecuada.
En un campo que ha sido fuertemente influenciado por los chatbots, un modelo como BLOOM puede haber experimentado una menor relevancia.
Capacidad de hardware
Cuando se lanzó BLOOM, el codirector de BLOOM Training, Teven Le Scao
dijo: «BLOOM es una demostración de que los modelos de IA más poderosos pueden ser entrenados y liberados por la comunidad de investigación más amplia con responsabilidad y de una manera abierta real, en contraste con el secreto típico de los laboratorios de investigación de IA industrial».
Sin embargo, aunque BLOOM es accesible para todos los investigadores; sin embargo, para ejecutarlo, se necesita una capacidad de hardware significativa. Muy pocos laboratorios de investigación o investigadores en todo el mundo tienen acceso a dicho hardware. En comparación, la API GPT-3 proporcionada por OpenAI es más adecuada para el desarrollo de productos y ofrece una opción más accesible.
Además, en la actualidad, existe una mayor disponibilidad de LLM de código abierto que no exigen una capacidad de hardware sustancial para operar. Esta accesibilidad a los modelos de código abierto ha democratizado la utilización de los LLM.
¿LLaMA se robó el protagonismo?
Con el lanzamiento de LLaMA, hemos sido testigos del verdadero poder del código abierto. Dado que los códigos para el modelo desarrollado por Meta se filtraron en GitHub, los desarrolladores han descubierto métodos para reducir los requisitos de memoria para el modelo.
Pronto llegó Alpaca, que redujo significativamente los costos de capacitación e inferencia a solo USD 600. Este costo es notablemente más bajo en comparación con las inversiones multimillonarias típicamente asociadas con la capacitación de tales modelos.
En definitiva, LLaMA y Alpaca han conseguido los objetivos inicialmente previstos para BLOOM. Alpaca, en particular, facilitó la democratización de los LLM al hacer que LLaMA fuera accesible a un público más amplio.
A través de una reducción en los costos de ajuste a unos pocos cientos de dólares y mediante el código abierto del modelo, Alpaca empoderó a los desarrolladores de todo el mundo para mejorar la funcionalidad de este LLM y utilizar su poder en sus proyectos.
BLOOM es multilingüe
Otra razón importante por la que no hemos visto una adopción más amplia de BLOOM podría ser el hecho de que es multilingüe. Fue el primer modelo de lenguaje grande multilingüe. Significa que solo un poco más del 30% de sus datos de capacitación estaban en inglés.
Sin embargo, la mayoría de los puntos de referencia populares que existen para la evaluación se basan específicamente en el idioma inglés. Además, la mayoría de los modelos de texto que existen también están capacitados en inglés, por lo tanto, evaluar estos modelos se convierte en una tarea difícil.
Aprendizaje por refuerzo con retroalimentación humana
ChatGPT tampoco fue el primer chatbot de LLM en surgir. Antes de su lanzamiento, Meta presentó Galactica. Sin embargo, el modelo se eliminó en dos días debido a su tendencia a producir resultados absurdos y sin sentido.
Pero lo que OpenAI hizo diferente con ChatGPT fue el aprendizaje por refuerzo con retroalimentación humana (RLHF). Esta técnica permite que los modelos de IA aprendan de la retroalimentación humana, haciéndolos más precisos y efectivos en una variedad de tareas.
Sin embargo, BLOOM no fue entrenado con retroalimentación humana. En términos de precisión, BLOOM también va a la zaga de otros modelos de código cerrado en el punto de referencia HELM de la Universidad de Stanford. El modelo también funciona mal en las métricas de toxicidad y moderadamente en los sesgos.
Además, lo más importante, recientemente, Stability AI lanzó el primer LLM de código abierto del mundo capacitado con RHLF. Llamado StableVicuna, el modelo tiene 13 mil millones de parámetros y puede realizar una variedad de tareas de procesamiento de lenguaje natural, que incluyen respuesta a preguntas, traducción de idiomas y finalización de texto, entre otras.
Conclusión
Sin embargo, BLOOM tampoco se ha vuelto completamente obsoleto. El modelo tiene muchos casos de uso, especialmente para idiomas distintos al inglés. También puede servir como un excelente modelo de traducción debido a su rico corpus multilingüe.
Además, BLOOM fue un proceso de investigación y nunca fue desarrollado con la intención de ser explotado comercialmente y ser utilizado por el público en general.
