Explicación del nuevo modelo de lenguaje grande de Google

Aunque Google fue uno de los primeros en adoptar la IA generativa, ahora se ha visto sorprendido por el crecimiento explosivo de rivales como ChatGPT y Bing Chat. Entonces, en respuesta, Google lanzó su chatbot Bard AI con una recepción mixta. Más recientemente, la empresa también comenzó a experimentar mostrando respuestas de IA junto con los resultados de búsqueda. Pero lo que es aún más impresionante es que Google ha desarrollado los modelos de aprendizaje automático internamente. Es posible que haya oído hablar de Google LaMDA ya en 2020, pero la empresa ahora ha cambiado al PaLM 2 más avanzado para sus productos de IA.

Entonces, en este artículo, echemos un vistazo más de cerca a PaLM 2 y cómo se diferencia de los modelos anteriores de Google. Más adelante, también veremos cómo se compara con GPT-4, que se considera el mejor modelo de lenguaje grande disponible en la actualidad.

PaLM significa Pathways Language Model, que indica el uso de la arquitectura Pathways AI de Google que ayuda a entrenar modelos de aprendizaje automático para realizar una variedad de tareas. Es una gran parte de la visión de Google alcanzar la inteligencia artificial general o AGI.

Google cree que la arquitectura Pathways allanará el camino para la IA multimodal más allá del texto. En una publicación de blog, la compañía dijo:

Pathways podría habilitar modelos multimodales que abarquen simultáneamente la comprensión visual, auditiva y del lenguaje. Entonces, ya sea que el modelo esté procesando la palabra «leopardo», el sonido de alguien que dice «leopardo» o un video de un leopardo corriendo, la misma respuesta se activa internamente: el concepto de un leopardo. El resultado es un modelo que es más perspicaz y menos propenso a errores y sesgos.

Si bien Google habló por primera vez sobre PaLM en 2022, la compañía nunca lanzó un producto que lo utilizara. Sin embargo, con la creciente presión de la competencia, Google actualizó su chatbot Bard para usar PaLM 2. A diferencia del modelo LaMDA al que reemplaza, PaLM 2 se entrenó en más de 100 idiomas y tiene un conocimiento aún mejor relacionado con el dominio en áreas como la codificación. También tiene mucho mejor razonamiento lógico y capacidades matemáticas.

Desde una perspectiva técnica, el modelo de aprendizaje automático LaMDA de primera generación de Google contaba con 137 000 millones de parámetros y un tamaño de entrenamiento de 1,56 billones de palabras. Esta vez, Google dice que PaLM 2 utiliza una nueva técnica conocida como escalamiento óptimo de cómputo para producir mejores resultados con menos parámetros y un conjunto de datos de entrenamiento más pequeño.

Google aún no se ha comprometido a brindar capacidades multimodales a sus productos de inteligencia artificial como Bard. Sin embargo, su futuro modelo de lenguaje Gemini probablemente traerá soporte para imágenes, audio y más.

Las capacidades de PaLM 2 le han dado a Google Bard un gran impulso en términos de capacidades. Cuando se lanzó por primera vez a principios de 2023, el chatbot utilizó el modelo de lenguaje LaMDA bajo el capó. Y con el paso a PaLM 2 ahora, Google catapultó más allá del modelo PaLM de primera generación.

Google ha publicado un informe técnico de 92 páginas que detalla cómo PaLM 2 mejora a sus predecesores, pero vayamos al grano. Aquí hay un resumen rápido de las mejoras con respecto a los modelos anteriores de la compañía:

1. PaLM 2 se entrenó en una combinación de idiomas y sus datos de entrenamiento incluyeron muchas muestras de texto que no estaban en inglés. También se desempeña mejor en las pruebas de idiomas extranjeros que LaMDA y PaLM de primera generación.
2. Tiene mejores capacidades de razonamiento lógico que sus predecesores e incluso logra igualar GPT-4 en las pruebas realizadas por Google.
3. El chatbot Bard de Google ahora puede generar y depurar código. Eso no era posible con los modelos lingüísticos anteriores de la empresa.
4. PaLM 2 puede traducir entre idiomas mejor que los modelos de idiomas anteriores. De hecho, también puede superar a Google Translate en ciertos idiomas como portugués y chino.
5. Con la nueva arquitectura Pathways, PaLM 2 es más eficiente para entrenar y usar. Esto hace que sea más económico y factible incluir en Google servicios como Gmail.
6. Google puede ajustar el modelo PaLM 2 para casos de uso específicos. Por ejemplo, Sec-PaLM está optimizado para detectar vulnerabilidades de ciberseguridad, mientras que Med-PaLM brinda respuestas a consultas médicas.

¿Cómo se compara PaLM 2 con los LLM GPT de OpenAI?

OpenAI, el creador de ChatGPT, hasta ahora ha logrado superar otros modelos de lenguaje en términos de capacidades. Pero con el lanzamiento de PaLM 2, ¿podrá Google llevarse la corona? Según el informe técnico de la empresa, obtiene mejores resultados en las pruebas de sentido común. Sin embargo, los puntos de referencia sintéticos no se traducen necesariamente en el rendimiento del mundo real.

Entonces, para saber cuál sale ganando, le pedí a Google Bard y Bing Chat un par de acertijos. Microsoft usa GPT-4 de OpenAI como base para Bing Chat y usé un poco de ingeniería creativa para evitar que busque una respuesta en Internet. Aquí está el resultado del primer acertijo que pregunté.

Como puede ver en las capturas de pantalla anteriores, tanto Google Bard como GPT-4 lograron resolver el acertijo correctamente. De hecho, PaLM 2 también me dio una solución alternativa que Bing Chat no ofrecía.

Sin embargo, el chatbot Bard de Google se negó a resolver otro acertijo que le lancé. Mientras tanto, Bing Chat proporcionó un razonamiento detallado y profundo y la solución correcta cuando se le preguntó el mismo acertijo.

Si bien estos dos ejemplos no prueban todas las capacidades de PaLM 2, prueban que Google ha comenzado a ponerse al día con la competencia, pero aún tiene mucho trabajo por hacer.

En la conferencia de desarrolladores de E/S de Google, pudimos echar un vistazo a los planes de la empresa para el futuro de PaLM 2 y sus desarrollos de IA en general. El último modelo de lenguaje impulsará todo, desde una nueva función «Ayúdame a escribir» en Google Docs y Gmail hasta la generación de imágenes AI en Presentaciones. En términos generales, estas funciones se encuentran bajo el paraguas Duet AI for Workspace de Google y deberíamos verlas implementadas en los próximos meses.

Google también ha desarrollado una versión de PaLM 2 para adaptarse a los teléfonos inteligentes. Con nombre en código Gecko, este modelo de lenguaje condensado podría algún día hacer posible el uso de IA generativa completamente fuera de línea en un teléfono inteligente Android típico.

Finalmente, los desarrolladores de software ahora pueden acceder a PaLM 2 mediante programación a través de API. Esto significa que es posible que veamos que otras empresas confían en el modelo de lenguaje grande de Google, al igual que hemos visto que Duolingo y Khan Academy adoptan GPT-4 para sus respectivas funciones impulsadas por IA.