En Google I/O 2023, el gigante de las búsquedas finalmente presentó PaLM 2, su último modelo de lenguaje grande de propósito general. PaLM 2 es la base sobre la que ahora se están construyendo múltiples productos de Google, incluida la Búsqueda de IA generativa de Google, Duet AI en Google Docs y Gmail, Google Bard y más. Pero, ¿qué es exactamente el modelo de IA de Google PaLM 2? ¿Es mejor que GPT-4? ¿Admite complementos? Para responder a todas sus preguntas, consulte nuestro explicador detallado sobre el modelo de inteligencia artificial PaLM 2 lanzado por Google.
¿Qué es el modelo de inteligencia artificial PaLM 2 de Google?
PaLM 2 es el último modelo de lenguaje grande (LLM) lanzado por Google que es altamente capaz en razonamiento avanzado, codificación y matemáticas. También es multilingüe y admite más de 100 idiomas. PaLM 2 es el sucesor del Pathways Language Model (PaLM) anterior lanzado en 2022.
La primera versión de PaLM se entrenó en 540 mil millones de parámetros, lo que lo convierte en uno de los LLM más grandes que existen. Sin embargo, en 2023, a Google se le ocurrió PaLM 2, que es mucho más pequeño en tamaño, pero es más rápido y eficiente que la competencia.
En el informe técnico de 92 páginas de PaLM 2, Google no mencionó el tamaño del parámetro, pero según un TechCrunch informe, uno de los Los modelos PaLM 2 solo se entrenan en 14,7 mil millones de parámetros, que es mucho menos que PaLM 1 y otros modelos de la competencia. Alguno investigadores en Twitter dicen que el modelo PaLM 2 más grande probablemente esté entrenado en 100 mil millones de parámetros, que aún es mucho más bajo que la competencia.
Para darle una idea, se dice que el modelo GPT-4 de OpenAI está entrenado en 1 billón de parámetros, lo cual es simplemente alucinante. El modelo GPT-4 es al menos 10 veces más grande que PaLM 2.
¿Cómo Google hizo PaLM 2 más pequeño?
En el blog oficial, Google dice que más grande no siempre es mejor y que la creatividad en la investigación es la clave para hacer grandes modelos. Aquí, por «creatividad de investigación», es probable que Google se esté refiriendo al aprendizaje reforzado a partir de la retroalimentación humana. (RLHF), escalado óptimo de cómputoy otras técnicas novedosas.
Google no ha revelado qué creatividad de investigación está empleando en PaLM 2, pero parece que la empresa podría estar usando LoRA (adaptación de bajo rango)ajuste de instrucciones y conjuntos de datos de calidad para obtener mejores resultados a pesar de usar un modelo relativamente más pequeño.
En general, PaLM 2 es un modelo LLM que es más rápido, relativamente más pequeño y rentable porque atiende a menos parámetros. Al mismo tiempo, brinda capacidades como razonamiento de sentido común, mejor interpretación lógica, matemáticas avanzadas, conversación multilingüe, dominio de la codificación y más. Eso fue lo básico del modelo PaLM 2, ahora avancemos y conozcamos sus características en detalle.
¿Cuáles son las características destacadas de PaLM 2?
Como se mencionó anteriormente, PaLM 2 es más rápido, altamente eficiente y tiene un costo de servicio más bajo. Aparte de eso, trae varias capacidades avanzadas. Para empezar, PaLM 2 es muy bueno en el razonamiento de sentido común. Google, de hecho, dice que las capacidades de razonamiento de PaLM 2 son competitivo con GPT-4. En la prueba de sentido común WinoGrande, PaLM 2 obtuvo 90,2 mientras que GPT-4 logró 87,5. En la prueba ARC-C, GPT-4 obtiene una puntuación un poco más alta y alcanza 96,3, mientras que PaLM 2 obtiene una puntuación de 95,1. En otras pruebas de razonamiento, incluidas DROP, StrategyQA, CSQA y algunas otras, PaLM 2 supera a GPT-4.
No solo eso, debido a su capacidad multilingüe, PaLM 2 puede comprender expresiones idiomáticas, poemas, textos matizados e incluso acertijos en otros idiomas. Va más allá del significado literal de las palabras y entiende el significado ambiguo y figurativo detrás de las palabras. Esto se debe a que PaLM 2 se ha entrenado previamente en textos multilingües paralelos de varios idiomas. Además, el corpus de datos multilingües de alta calidad hace que PaLM 2 sea aún más potente. Como resultado, la traducción y otras aplicaciones similares funcionan mucho mejor en PaLM 2.
A continuación, llegamos a sus capacidades de codificación. Google dice que PaLM 2 está nuevamente entrenado en un gran corpus de conjuntos de datos de código fuente de calidad disponibles en el dominio público. Como resultado, apoya más de 20 lenguajes de programación, que incluyen Python, JavaScrupt, C, C++ e incluso lenguajes más antiguos como Prolog, Fortran y Verilog. También puede generar código, ofrecer sugerencias sensibles al contexto, traducir código de un idioma a otro, agregar funciones con solo un comentario y más.
¿Qué puede hacer el modelo PaLM 2?
En primer lugar, permítanme decir que PaLM 2 se creó para que se adapte a diferentes casos de uso. Google anunció que PaLM 2 vendrá en cuatro modelos diferentes: Geco, nutria, bisonte y unicornio; Gecko es el más pequeño y Unicornio el más grande.
Gecko es tan liviano que puede ejecutarse incluso en teléfonos inteligentes mientras está completamente fuera de línea. Puede procesar 20 fichas por segundo en un teléfono insignia, que es de alrededor de 16 palabras por segundo. Eso es increíble, ¿verdad? Imagine el tipo de aplicaciones en el dispositivo impulsadas por IA que puede ejecutar en su teléfono inteligente sin necesidad de una conexión a Internet activa o especificaciones robustas.
Aparte de eso, PaLM 2 se puede ajustar para crear un modelo específico de dominio de inmediato. Google ya creó Med-PaLM 2, un LLM específico para la medicina perfeccionado en PaLM 2 que recibió competencia de nivel «Experto» en preguntas del estilo del Examen de Licencias Médicas de EE. UU. Logró un precisión del 85,4% en la prueba USMLE, incluso superior a GPT-4 (84%). Dicho esto, tenga en cuenta que GPT-4 es un LLM de propósito general y no está ajustado para el conocimiento médico.
En el futuro, Google ha agregado capacidad multimodal a Med-PaLM 2. Puede analizar imágenes como radiografías y mamografías y sacar conclusiones, de acuerdo con médicos expertos. Eso es bastante notable, ya que puede brindar acceso médico muy necesario a áreas remotas de todo el mundo. Además de eso, Google ha desarrollado Sec-PaLM, una versión especializada de PaLM 2 para el análisis de ciberseguridad y para detectar rápidamente amenazas maliciosas en poco tiempo.
Productos de Google con tecnología PaLM 2
Todos estos son casos de uso diferentes de PaLM 2 en diferentes esferas e industrias. En cuanto a los consumidores individuales, puede experimentar PaLM 2 en acción a través de Google Bard, Google Generative AI Search y Duet AI en Gmail, Google Docs y Google Sheets. Google recientemente movió Bard, su chatbot interactivo de IA, a PaLM 2 y abrió el acceso a más de 180 países. Puede seguir nuestro artículo y aprender a usar Google Bard ahora mismo.
En cuanto al uso de PaLM 2 en Gmail, Google Docs y Sheets (Google lo llama Duet AI para Google Workspace), debe unirse a la lista de espera para aprovechar las funciones impulsadas por IA. Finalmente, para los desarrolladores, Google tiene lanzó la API de PaLM que se basa en el modelo PaLM 2. Puede registrarse ahora mismo para utilizar la API de PaLM en sus productos. Puede generar más de 75 tokens por segundo y tiene una ventana de contexto de 8000 tokens.
PaLM 2 vs GPT-4: ¿Cómo se comparan los modelos de IA?
Antes de comparar las capacidades, una cosa está clara: PaLM 2 es rápido. Quiero decir, es rápido para responder consultas, incluso preguntas de razonamiento complejas. No solo eso, ofrece tres borradores a la vez, en caso de que no esté satisfecho con la respuesta predeterminada. Por lo tanto, desde el punto de vista de la eficiencia y la informática, Google está uno o dos pasos por delante de OpenAI. Lea acerca de todas las nuevas características de Google Bard AI aquí.
En lo que respecta a las capacidades, probamos la habilidad de razonamiento tanto de los modelos como de PaLM 2. Google Bard realmente brilla en tales pruebas. De 3 preguntas de razonamiento, Bard respondió correctamente las 3, mientras que ChatGPT-4 solo pudo responder 1 respuesta correcta. En un caso, la evaluación de Bard fue incorrecta (parecía una alucinación), pero de alguna manera dio la respuesta correcta.
Aparte de eso, para las tareas de codificación, le pedí a Bard que encontrara un error en el código que proporcioné, pero dio una respuesta larga para solucionar los problemas, que resultó ser completamente incorrecta. Sin embargo, ChatGPT-4 identificó instantáneamente la sintaxis de codificación, detectó el error y corrigió el código sin más indicaciones.
También asigné una tarea a ambos modelos para implementar el algoritmo de Dijkstra en Python y ambos modelos código generado sin errores. Los compilé a ambos y ninguna de las funciones arrojó ningún error. Dicho esto, ChatGPT-4 genera un código limpio con algunos ejemplos, mientras que Bard solo implementa la función barebone.
Limitaciones de Google PaLM 2
Ahora que llegamos a las limitaciones, ya sabemos que los complementos de ChatGPT son poderosos y pueden mejorar rápidamente las capacidades de GPT-4 por millas. con solo el Complemento de intérprete de código, los usuarios pueden hacer mucho más con ChatGPT. De hecho, Google también ha anunciado «Herramientas» similares a los complementos, pero aún no están disponibles y el soporte de terceros parece mediocre en este momento. En conjunto, el soporte de los desarrolladores es enorme para OpenAI.
A continuación, GPT-4 es un modelo multimodal, lo que significa que puede analizar tanto textos como imágenes. La multimodalidad tiene varios casos de uso interesantes. Puede pedirle a ChatGPT que estudie un gráfico, una tabla, un informe médico, imágenes médicas y más. Sí, la función aún no se ha agregado a ChatGPT, pero vimos una demostración temprana y parecía muy impresionante. Por otro lado, PaLM 2 no es un modelo multimodal ya que solo se trata de textos.
El gigante de las búsquedas ha perfeccionado PaLM 2 para crear Med-PaLM 2, que de hecho es multimodal, pero no está abierto al uso público y se limita únicamente al dominio médico. Google dice que el el modelo de próxima generación llamado Gemini será multimodal con características innovadoras, pero aún se está entrenando y faltan meses para su lanzamiento. Google prometió llevar el soporte de Lens a Bard, pero no es lo mismo que un modelo visual impulsado por IA.
Finalmente, en comparación con GPT-4, Google Bard alucina mucho (ver un ejemplo aquí, donde Bard piensa que el modelo PaLM AI es creado por OpenAI). Inventa información sobre la marcha y responde confiadamente con información falsa. GPT-3 y GPT-3.5 también tuvieron un problema similar, pero OpenAI logró reducir las alucinaciones en un 40 % con el lanzamiento de GPT-4. Google necesita abordar el mismo problema de alucinaciones «con valentía y responsabilidad».
Conclusión: ¿PaLM 2 o GPT-4?
En resumen, el modelo de inteligencia artificial PaLM 2 de Google ha mejorado en algunas áreas, como el razonamiento avanzado, la traducción, las capacidades multilingües, las matemáticas y la codificación. Además, tiene el beneficio adicional de ejecutar un modelo más pequeño con un rendimiento rápido y costos de servicio bajos. Sin embargo, para alcanzar la paridad de funciones con GPT-4, Google necesita agregar multimodalidad, herramientas de terceros (complementos), abordar el problema de las alucinaciones y hacer que sus modelos de IA sean lo más amigables posible para los desarrolladores.
