roberto nápoli es el director ejecutivo de Agile Tech Advisors. Escribe sobre ciberseguridad, transformación digital y liderazgo tecnológico.
Cuando OpenAI lanzó GPT-2, los periodistas quedaron impresionados.
“Ponle un titular falso y escribirá el resto del artículo”, un escritor de el borde maravillado “Aliméntalo con la primera línea de una historia corta y te dirá lo que le sucede a tu personaje a continuación. Incluso puede escribir ficción de fanáticos, si se le da el aviso correcto”.
También podría escribir chistes y poesía. Algunos escritores comentaron que este algoritmo podría algún día robarles sus trabajos, y los científicos ya estaban observando escenarios en los que los humanos no podían distinguir de manera confiable entre el arte humano y el generado por IA.
Sin embargo, GPT-2 se lanzó hace cuatro años. Entonces, ¿por qué todo el mundo habla de IA ahora, como si algo hubiera cambiado?
El problema con los chatbots más antiguos
Los chatbots y traductores más avanzados de la última década se basaron en redes neuronales recurrentes (RNN), redes de memoria a largo plazo (LSTM) y otros algoritmos de aprendizaje automático que procesaban el lenguaje en orden secuencial.
Eran geniales pero limitados. En el tiempo que tardaron en entrenar, el trabajo implicado en el etiquetado de grandes conjuntos de datos y, sobre todo, su capacidad para manejar oraciones y pasajes de texto más largos. Después de todo, leer, escribir y traducir requieren memoria (la primera parte de esta oración, párrafo y artículo tienen relación con los escritos aquí) y esos modelos secuenciales no eran suficientes en ese departamento debido al problema del gradiente de fuga.
Necesitábamos una nueva forma de enseñar a la IA a hacer cosas, no solo un modelo más grande o más ajustado, sino algo característicamente diferente. Ese avance, el cambio que nos trajo la IA moderna que vemos hoy, no ocurrió en noviembre pasado. Sucedió iterativamente, hace más de media década.
Avance tecnológico de la IA
En 2017, investigadores de Google y la Universidad de Toronto tuvieron una idea: todo lo que realmente necesitas es atención.
Considere dónde se enfoca su atención ahora: en estas palabras que está leyendo, en la idea operativa introducida en la última oración: atención (¿qué significa aquí?) y el punto del artículo (vaya, este es un largo camino a hablar de ChatGPT). A través de la atención, puede retener el contexto y el significado de esta oración y del artículo en general, sin tener que recordar cada palabra u oración que ya haya leído.
Ahora, ¿qué pasaría si la IA pudiera mostrar atención? Esta idea permitió a esos investigadores diseñar lo que llamaron un «transformador».
A diferencia de los RNN y los LTSM, que procesaban los datos de forma secuencial, el transformador podía manejar simultáneamente secuencias de datos completas, utilizando la atención como arma para darle sentido a todo. Era más preciso porque no tenía que hacer tanto esfuerzo para recordar cada palabra acumulativa que había antes. En estas y otras formas, el transformador se parecía mucho más a una red neuronal real que sus predecesores.
Y para propósitos de entrenamiento, el transformador fue un sueño. Con el procesamiento secuencial, solo podría alimentar un algoritmo tan rápido como pudiera consumir un punto de datos tras otro. Sin esa limitación, los transformadores podrían ejecutar montones de datos extremadamente rápido.
Pero había un problema más. «Aunque abundan los grandes corpus de texto sin etiquetar», señaló un grupo de investigadores en 2018, «los datos etiquetados para aprender estas tareas específicas son escasos, lo que dificulta que los modelos entrenados discriminativamente se desempeñen adecuadamente». Esos investigadores eran de OpenAI y su solución era una etapa completamente nueva y preventiva del proceso de capacitación estándar, que no requería datos de capacitación etiquetados. Lo llamaron «preentrenamiento generativo» o GPT.
A partir de ahí, la mayoría de las ganancias fueron en escala. El primer GPT se construyó sobre 117 millones de parámetros, informados por Common Crawl y una colección de más de 11,000 libros. GPT-2 tenía diez veces más datos de entrenamiento con 1500 millones de parámetros en total. GPT-3, el que sustentó el lanzamiento de la aplicación ChatGPT, era unas cien veces más grande que su predecesor con 175 000 millones de parámetros.
Como puede ver, los avances tecnológicos más significativos ocurrieron años antes de que existiera ChatGPT. Entonces, ¿por qué es importante esta aplicación?
Porque ChatGPT no fue una revolución en lo que la IA podía hacer. En cambio, fue una revolución en lo que la IA podía ser.
Qué cambió ChatGPT
La IA ha sido parte de nuestras vidas desde hace algún tiempo. Está en nuestros teléfonos, los sitios web que usamos, los aviones en los que volamos y mucho más. Pero estos algoritmos son todos distantes: habilitan, informan y suavizan las cosas con las que interactuamos, todo detrás de escena.
ChatGPT es la primera herramienta de inteligencia artificial del mundo con la que puede interactuar sin ese búfer. Los investigadores lo han estado usando para investigar, los estudiantes para estudiar y los educadores para educar. Ha ayudado no solo a ejecutivos y gerentes, sino también a sus asistentes. Puede ayudarlo a desarrollar ideas para casi cualquier cosa, incluso indicaciones para alimentar otras herramientas de IA.
El avance de ChatGPT no es técnico, es democrático. No se trata de lo bueno que es, sino de cuántas personas pueden usarlo libremente y de diferentes maneras.
Y no se equivoque: la accesibilidad de la IA es tan importante como su sofisticación técnica.
A fines del año pasado, la Casa Blanca anunció un plan para una Declaración de derechos de IA, citando solo algunos de los muchos impactos negativos posibles que esta tecnología podría tener en la sociedad: incluida la privacidad, la discriminación racial, la pérdida de empleos y más. Lo que se subestima es que muchos de estos problemas tienen sus raíces no solo en lo que la IA puede hacer, sino también en quién la controla: gobiernos, ejecutivos corporativos y ciberdelincuentes.
Si la IA va a ser un beneficio neto para la sociedad a largo plazo, no será porque esté tan avanzada. En cambio, será porque todos pueden usarlo para mejorar sus propias vidas.
ChatGPT nos mostró que la verdadera razón por la que nos preocupamos por la IA no es solo por lo buena que es, sino por lo buena que es para a nosotros.
El Consejo de Tecnología de Forbes es una comunidad a la que solo se puede acceder por invitación para CIO, CTO y ejecutivos de tecnología de clase mundial. ¿Califico?