Meta hizo una afirmación notable en un anuncio publicado hoy con la intención de dar más claridad sobre sus algoritmos de recomendación de contenido. Se está preparando para sistemas de análisis de comportamiento «órdenes de magnitud» más grandes que los modelos de lenguaje grande más grandes que existen, incluidos ChatGPT y GPT-4. ¿Es eso realmente necesario?
De vez en cuando, Meta decide refrescar su compromiso con la transparencia explicando cómo funcionan algunos de sus algoritmos. A veces esto es revelador o informativo, y otras veces solo conduce a más preguntas. Esta ocasión es un poco de ambos.
Además de las «tarjetas del sistema» que explican cómo se usa la IA en un contexto o aplicación determinados, la red social y publicitaria publicó una descripción general de los modelos de IA que utiliza. Por ejemplo, puede valer la pena saber si un video representa un hockey sobre patines o un derby sobre patines, aunque haya cierta superposición visual, para que pueda recomendarse adecuadamente.
De hecho, Meta ha estado entre las organizaciones de investigación más prolíficas en el campo de la IA multimodal, que combina datos de múltiples modalidades (visual y auditiva, por ejemplo) para comprender mejor un contenido.
Pocos de estos modelos se publican, aunque con frecuencia escuchamos cómo se usan internamente para mejorar cosas como la «relevancia», que es un eufemismo para la orientación. (Permiten que algunos investigadores accedan a ellos).
Luego viene este pequeño dato interesante que describe cómo está construyendo sus recursos de computación:
Para comprender profundamente y modelar las preferencias de las personas, nuestros modelos de recomendación pueden tener decenas de billones de parámetros, órdenes de magnitud más grandes que incluso los modelos de lenguaje más grandes que se usan en la actualidad.
Presioné a Meta para que fuera un poco más específico sobre estos modelos teóricos de decenas de billones, y eso es exactamente lo que son: teóricos. En una declaración aclaratoria, la compañía dijo: «Creemos que nuestros modelos de recomendación tienen el potencial de alcanzar decenas de billones de parámetros». Esta frase es un poco como decir que sus hamburguesas «pueden» tener hamburguesas de 16 onzas, pero luego admitir que todavía están en la etapa de un cuarto de libra. Sin embargo, la compañía establece claramente que su objetivo es «garantizar que estos modelos muy grandes puedan entrenarse e implementarse de manera eficiente a escala».
¿Construiría una empresa una infraestructura costosa para el software que no tiene la intención de crear o usar? Parece poco probable, pero Meta se negó a confirmar (aunque tampoco lo negó) que están buscando activamente modelos de este tamaño. Las implicaciones son claras, así que aunque no podemos tratar este modelo a escala de decenas de billones como existente, poder trátelo como genuinamente aspiracional y probable en las obras.
“Comprender y modelar las preferencias de las personas”, por cierto, debe entenderse como análisis del comportamiento de los usuarios. Sus preferencias reales probablemente podrían estar representadas por una lista de texto sin formato de cien palabras. Puede ser difícil entender, en un nivel fundamental, por qué necesitaría un modelo tan grande y complejo para manejar recomendaciones incluso para un par de miles de millones de usuarios.
La verdad es que el espacio del problema es enorme: hay miles y miles de millones de piezas de contenido, todas con metadatos correspondientes, y sin duda todo tipo de vectores complejos que muestran que las personas que siguen a la Patagonia también tienden a donar a la Federación Mundial de Vida Silvestre, compran cada vez más comederos para pájaros caros, etc. Entonces, tal vez no sea tan sorprendente que un modelo entrenado con todos estos datos sea bastante grande. ¿Pero «órdenes de magnitud más grandes» que incluso los más grandes que existen, algo entrenado en prácticamente todos los trabajos escritos disponibles?
No hay un conteo de parámetros confiable en GPT-4, y los líderes en el mundo de la IA también han descubierto que es una medida reductora de rendimiento, pero ChatGPT está en alrededor de 175 mil millones y se cree que GPT-4 es más alto que eso pero más bajo. que los salvajes 100 billones de reclamos. Incluso si Meta está exagerando un poco, esto sigue siendo aterrador.
Piénselo: un modelo de IA tan grande o más grande que cualquiera creado hasta ahora… lo que entra en un extremo es cada acción que realiza en las plataformas de Meta, lo que sale en el otro es una predicción de lo que hará o le gustará a continuación. Un poco espeluznante, ¿no?
Por supuesto que no son los únicos que hacen esto. Tiktok lideró el seguimiento algorítmico y la recomendación, y ha construido su imperio de redes sociales sobre su adictivo feed de contenido «relevante» destinado a mantenerlo desplazándose hasta que le duelan los ojos. Sus competidores son abiertamente envidiosos.
Meta claramente apunta a cegar a los anunciantes con la ciencia, tanto con la ambición declarada de crear el modelo más grande del bloque como con pasajes como el siguiente:
Estos sistemas comprenden las preferencias de comportamiento de las personas utilizando modelos de atención a gran escala, redes neuronales gráficas, aprendizaje de pocos disparos y otras técnicas. Las innovaciones clave recientes incluyen una novedosa arquitectura jerárquica de recuperación neuronal profunda, que nos permitió superar significativamente varias líneas de base de última generación sin retroceder la latencia de inferencia; y una nueva arquitectura de conjunto que aprovecha los módulos de interacción heterogéneos para modelar mejor los factores relevantes para los intereses de las personas.
El párrafo anterior no pretende impresionar a los investigadores (saben todo esto) o a los usuarios (no entienden ni les importa). Pero ponte en el lugar de un anunciante que comienza a cuestionar si su dinero está bien gastado en anuncios de Instagram en lugar de otras opciones. Esta palabrería técnica está destinada a deslumbrarlos, a convencerlos de que Meta no solo es líder en investigación de IA, sino que la IA realmente se destaca en «comprender» los intereses y preferencias de las personas.
En caso de que lo dudes: «más del 20 por ciento del contenido en los feeds de Facebook e Instagram de una persona ahora es recomendado por AI de personas, grupos o cuentas que no siguen». ¡Justo lo que pedimos! Así que eso es todo. La IA está funcionando muy bien.
Pero todo esto también es un recordatorio del aparato oculto en el corazón de Meta, Google y otras empresas cuyo principal principio motivador es vender anuncios con una orientación cada vez más granular y precisa. El valor y la legitimidad de esa orientación deben reiterarse constantemente, incluso cuando los usuarios se rebelan y la publicidad se multiplica e insinúa en lugar de mejorar.
Nunca Meta ha hecho algo sensato como presentarme una lista de 10 marcas o pasatiempos y preguntarme cuál de ellos me gusta. Prefieren mirar por encima de mi hombro mientras hojeo la web en busca de un impermeable nuevo y actuar como si fuera una hazaña de inteligencia artificial avanzada cuando me muestran anuncios de impermeables al día siguiente. No está del todo claro que el último enfoque sea superior al primero, o si es así, ¿qué tan superior? Toda la web se ha construido en torno a una creencia colectiva en la orientación de anuncios de precisión y ahora se está implementando la última tecnología para apuntalarla para una nueva ola más escéptica de gastos de marketing.
Por supuesto, necesita un modelo con diez billones de parámetros para decirle lo que le gusta a la gente. ¡De qué otra manera podrías justificar los mil millones de dólares que gastaste entrenándolo!
