La semana pasada, Meta anunció LLaMA, su último intento de hacer un «modelo de lenguaje grande» al estilo GPT*. Si la IA es el futuro de la tecnología, entonces las grandes empresas tecnológicas deben controlar sus propios modelos o quedar rezagadas por la competencia. LLaMA se une a GPT de OpenAI (con licencia de Microsoft para Bing y que sustenta el propio ChatGPT de OpenAI) y LaMDA de Google (que impulsará a Bard, su rival ChatGPT) en los escalones superiores del campo.
El objetivo de Meta no era simplemente replicar GPT. Dice que LLaMA es un «modelo más pequeño y de mayor rendimiento» que sus pares, construido para lograr las mismas hazañas de comprensión y articulación con una huella más pequeña en términos de cómputo* y, por lo tanto, tiene un impacto ambiental correspondientemente menor. (El hecho de que sea más barato de ejecutar tampoco duele).
Pero la compañía también buscó diferenciarse de otra manera, al hacer que LLaMA sea “abierto”, señalando implícitamente que, a pesar de su marca, “OpenAI” es todo lo contrario. De su anuncio:
Incluso con todos los avances recientes en modelos de lenguajes grandes, el acceso total a la investigación sigue siendo limitado debido a los recursos que se requieren para entrenar y ejecutar modelos tan grandes. Este acceso restringido ha limitado la capacidad de los investigadores para comprender cómo y por qué funcionan estos grandes modelos de lenguaje, lo que dificulta el progreso de los esfuerzos para mejorar su solidez y mitigar los problemas conocidos, como el sesgo, la toxicidad y la posibilidad de generar información errónea.
Al compartir el código de LLaMA, otros investigadores pueden probar más fácilmente nuevos enfoques para limitar o eliminar estos problemas en modelos de lenguaje grandes.
Al lanzar LLaMA para que lo usen los investigadores, Meta ha eliminado uno de los límites clave en la investigación académica de IA: el gran costo de capacitar a un LLM*. Hace tres años, se estimó que cada ejecución de entrenamiento de GPT-3 costaba entre 10 y 12 millones de dólares. (OpenAI no reveló el costo real, solo la cantidad de cómputo utilizada para una ejecución individual; tampoco reveló cuántas ejecuciones se necesitaron para hacerlo bien, dada la naturaleza de prueba y error del campo). El precio solo ha aumentado desde entonces, por lo que al lanzar LLaMA para que lo usen los investigadores, Meta les permite ahorrar millones o, de manera más realista, abre la perspectiva de la investigación fundamental por completo.
Al centrarse en la eficiencia, la empresa también abarató el funcionamiento del sistema. El modelo LLaMA más avanzado tiene 65.000 millones de «parámetros» (más o menos la cantidad de líneas de conexión en la vasta red neuronal* en su corazón, pero no tanto), apenas un tercio del tamaño del chico más grueso de GPT-3, pero Meta dice que el dos son aproximadamente equivalentes en capacidad. Ese tamaño reducido significa que LLaMA puede ejecutarse en sistemas mucho más baratos, incluso una computadora de escritorio – si puede tolerar los tiempos de procesamiento glacial.
Pero la generosidad de Meta no fue ilimitada. “Para mantener la integridad y evitar el mal uso… el acceso al modelo se otorgará caso por caso”, dijo la compañía. Inicialmente, fue criticado por la forma en que adjudicaba esos casos, con acusaciones de un sesgo occidental sobre quiénes se consideraban elegibles.
*¿Alguno de estos términos sigue siendo confuso?? Consulte el glosario de IA de la semana pasada.
LLaMA con fugas
Pero esas críticas se volvieron discutibles durante el fin de semana, cuando se filtró el modelo completo para que cualquiera pudiera descargarlo. Publicado inicialmente en 4Chan, un enlace al espejo BitTorrent de LLaMA finalmente llegó a GitHub, donde un usuario descarado agregó una nota de aspecto oficial animando a otros a usar ese enlace «para ahorrar nuestro ancho de banda».
Es demasiado pronto para decir qué efecto tendrá la filtración. El modelo tal como está es inutilizable para cualquiera que no tenga habilidades técnicas serias y una computadora extremadamente robusta o la voluntad de gastar unos cientos de libras en facturas de almacenamiento en la nube. Tampoco está claro cuál será la respuesta de Meta. “El objetivo de Meta es compartir modelos de inteligencia artificial de última generación con miembros de la comunidad de investigación para ayudarnos a evaluar y mejorar esos modelos”, dijo un portavoz de Meta. “LLaMA se compartió con fines de investigación, en consonancia con la forma en que hemos compartido modelos de lenguaje grande anteriores. Si bien el modelo no es accesible para todos, y algunos han tratado de eludir el proceso de aprobación, creemos que la estrategia de lanzamiento actual nos permite equilibrar la responsabilidad y la apertura”.
Eso deja mucho sin decir. ¿Arrojará a los abogados al problema y tratará de volver a meter al genio en la botella, o aceptará su papel accidental como desarrollador de lo que probablemente se convierta rápidamente en la IA más implementada en el mundo? Si es lo último, en breve podríamos ver la misma revolución en LLM que golpeó a los generadores de imágenes el verano pasado. Dall-E 2 se lanzó en mayo pasado y mostró un cambio radical en la calidad de la generación de imágenes de IA. (Volver a leer el número de TechScape sobre el lanzamiento es revelador de lo lejos que hemos llegado en tan poco tiempo).
Pero Dall-E estaba controlado por OpenAI, al igual que ChatGPT, con un acceso cuidadosamente controlado. Las personas sabían que algo grande estaba sucediendo, pero tenían una capacidad limitada para experimentar con la tecnología, mientras que OpenAI parecía un guardián que cosecharía todo el potencial comercial de la creación.
Luego, en agosto, Stability AI lanzó Stable Diffusion. Básicamente, financiado en su totalidad por los ahorros del ex comerciante de fondos de cobertura Emad Mostaque, Stable Diffusion fue de código abierto desde el primer día. Lo que Meta hizo accidentalmente, Stability AI lo hizo a propósito, confiando en que tendría una mejor oportunidad de éxito en el campo si vendiera servicios además del modelo de uso gratuito, en lugar de controlar el acceso a toda costa.
después de la promoción del boletín
OpenAI v IA abierta
Estamos en la encrucijada de dos futuros de IA muy diferentes. En uno, las empresas que invierten miles de millones en capacitar y mejorar estos modelos actúan como guardianes y obtienen una parte de la actividad económica que permiten. Si desea construir un negocio sobre ChatGPT, por ejemplo, puede hacerlo, por un precio. No es exorbitante, solo $2 por cada 700,000 palabras procesadas. Pero es fácil ver cómo eso podría algún día resultar en que a OpenAI se le pague una pequeña porción de un centavo por cada palabra escrita en una computadora.
Puede pensar que ninguna empresa renunciaría a tal ventaja, pero hay una debilidad en ese mundo: es inestable. Ser un guardián solo funciona mientras hay una valla alrededor de su producto, y solo se necesita una empresa para decidir (queriéndolo o no) hacer que algo casi tan bueno esté disponible de forma gratuita para abrir un agujero en esa valla para siempre.
El otro mundo es aquel en el que los modelos de IA que definen la próxima década del sector tecnológico están disponibles para que cualquiera los desarrolle. En esos mundos, algunos de los beneficios aún se acumulan para sus desarrolladores, que están en posición de vender su experiencia y servicios, mientras que los proveedores de infraestructura se llevan una parte más. Pero con menos guardianes en juego, los beneficios económicos de la agitación se extienden mucho más.
Hay, por supuesto, un inconveniente. Los guardianes no solo cobran un peaje, también hacen guardia. Las tarifas de API de OpenAI no son un centro de ganancias puras, porque la empresa se ha comprometido a garantizar que sus herramientas se utilicen de manera responsable. Dice que hará el trabajo necesario para garantizar que los spammers y los piratas informáticos sean expulsados de inmediato, y tiene la capacidad de imponer restricciones en ChatGPT que no son puramente parte de su modelo en sí mismo, para filtrar consultas y respuestas, por ejemplo.
No existen tales límites para Stable Diffusion, ni tampoco para las instancias piratas de LLaMA que girarán en todo el mundo esta semana. En el mundo de la generación de imágenes, hasta ahora eso ha significado poco más que mucha más pornografía generada por IA que en el mundo desinfectado de Dall-E. Pero creo que no pasará mucho tiempo antes de que veamos el valor de esas barandillas en la práctica. Y entonces podría no ser solo Meta tratando de volver a meter al genio en la botella.
Si desea leer la versión completa del boletín, suscríbase para recibir TechScape en su bandeja de entrada todos los martes.