GPT-3, un modelo de aprendizaje de máquina de OpenAI…ha tomado al mundo por asalto en las últimas dos semanas. La generación del lenguaje natural, una rama de la informática centrada en la creación de textos a partir de un lote de datos, entró en una edad de oro con el lanzamiento el año pasado del GPT-2. El lanzamiento de GPT-3 el mes pasado sólo confirmó esto. En este artículo, quiero echar un vistazo a por qué GPT-3 es tan importante para la comunidad de aprendizaje automático, para los empresarios y para cualquiera que trabaje con tecnología.
¿Qué es GPT-3?
GPT-3 es un modelo de aprendizaje profundo de 175.000 millones de parámetros de transformadores. Eso puede sonar complicado, pero se reduce a un algoritmo que fue enseñado para predecir la siguiente palabra basada en la frase que se introduce. Después de que proporcionas una frase y el algoritmo llena los huecos. Por ejemplo, podrías poner «¿Cómo utilizar con éxito la comercialización de contenidos?» y obtendrías un texto sobre el tema de la comercialización de contenidos.
GPT son las siglas de Generative Pre-Training. La parte generativa de ese término debería ser clara. Quieres que el modelo genere un texto para ti basado en alguna entrada. Pre-entrenamiento se refiere al hecho de que el modelo fue entrenado con un corpus masivo de texto y su conocimiento del lenguaje proviene de los ejemplos que ha visto antes. Sin embargo, no copia fragmentos de textos literalmente. El proceso implica aleatoriedad debido al hecho de que el modelo trata de predecir la siguiente palabra basada en lo que vino antes, y esta predicción tiene un componente estadístico. Todo esto también significa que GPT-3 no «entiende» realmente el lenguaje que está procesando; no puede hacer inferencias lógicas como lo hace un humano, por ejemplo.
GPT-3 no tiene un verdadero avance en el lado algorítmico. Es más de lo mismo que el GPT-2, aunque fue entrenado con sustancialmente más datos y más potencia de cálculo. OpenAI utilizó un conjunto de datos C4 (Common Crawl) de Google, que Google utilizó en el entrenamiento su modelo T5.
Entonces, ¿por qué GPT-3 es tan asombroso? Su naturaleza transformadora se reduce a sus aplicaciones, que es donde realmente podemos medir su robustez.
Aplicaciones del GPT-3
Imagina que quieres construir un modelo para la traducción del inglés al francés. Tomarías un modelo de lenguaje pre-entrenado (digamos BERT) y luego le darías una palabra o frase en inglés como fecha junto con una traducción emparejada. GPT-3 puede realizar esta tarea y muchas otras sin ningún aprendizaje adicional, mientras que necesitarías afinar los modelos anteriores de aprendizaje automático como el BERT en cada tarea. Simplemente se proporciona un aviso (una frase u oración de pregunta):
«Traduce del inglés al francés: queso =>» para conseguir «fromage»
Proporcionar un comando sin entrenamiento adicional es lo que llamamos aprendizaje de tiro cero. No diste ningún ejemplo previo de lo que querías que el algoritmo lograra, pero entendió que querías hacer una traducción. Podías, por ejemplo, dar «Resumir» como entrada y proporcionar un texto del que querías una sinopsis. GPT-3 entenderá que usted quiere un resumen del texto sin ningún ajuste adicional o más datos.
En general, el GPT-3 es un aprendiz de pocos tiros, lo que significa que sólo hay que describirle un par de ejemplos de lo que se quiere, y entonces puede averiguar el resto. Las aplicaciones más sorprendentes de esto incluyen varias interfaces humano-máquina, donde se escribe en un inglés sencillo y se obtiene un código en HTML, SQL, Python, o el diseño de una aplicación en Figma.
Por ejemplo, este GPT-3 powered app te permite escribir «¿Cuántos usuarios se han inscrito desde principios de 2020?» La aplicación le dará un código SQL: «SELECT count(id) FROM users WHERE created_at > ‘2020-01-01′» que hace precisamente eso. En otras palabras, GPT-3 permite hacer consultas sobre hojas de cálculo usando lenguaje natural — Inglés en este caso.
Otro gran aplicación potenciada por GPT-3 te permite describir un diseño que quieres en un inglés sencillo («Make a yellow Registration button») y obtener archivos Figma con el botón listo para ser implementado en tu aplicación o sitio web.
Hay muchos otros ejemplos que tienen el GPT-3 traduciendo del inglés a un lenguaje de codificación, haciendo la interacción entre los humanos y las máquinas mucho más fácil y rápida. Y es por eso que GPT-3 es realmente innovador. Nos apunta hacia nuevas y diferentes interfaces hombre-máquina.
GPT-3 y la democratización de la tecnología
Entonces, ¿qué ofrece GPT-3 a los empresarios, desarrolladores y al resto de nosotros? Simplicidad y la creciente democratización de la tecnología.
GPT-3 y modelos generativos similares no reemplazarán pronto a los desarrolladores o diseñadores, pero permitirán un acceso más amplio a la tecnología, ya sea diseñando nuevas aplicaciones, sitios web o investigando y escribiendo sobre diversos temas. Las personas no técnicas no tendrán que depender de los desarrolladores para empezar a jugar con sus ideas o incluso construir un MVP. Pueden simplemente describirlo en inglés como lo harían con una casa de software para obtener lo que quieren. Esto podría reducir los costos de la iniciativa empresarial, ya que ya no se necesitarían desarrolladores para empezar.
Sin embargo, ¿qué significa eso para los desarrolladores? ¿Se volverán obsoletos? No, en absoluto. En cambio, se moverán más arriba en la pila. Su trabajo principal es comunicarse con la máquina para que haga las cosas que el desarrollador quiere. Con el GPT-3 y modelos generativos similares, ese proceso ocurrirá mucho más rápido. Los nuevos lenguajes de programación surgen todo el tiempo por una razón: hacer que la programación de ciertas tareas sea más fácil y fluida. Los modelos de lenguajes generativos pueden ayudar a construir una nueva generación de lenguajes de programación que permitirá a los desarrolladores hacer cosas increíbles mucho más rápido.
En general, es probable que el impacto del GPT-3 en los próximos cinco años sea una tecnología cada vez más democratizada. Estas herramientas se volverán más baratas y accesibles para cualquiera, tal como lo hizo el acceso generalizado a Internet hace 20 años.
Independientemente de la forma exacta que tome, con el GPT-3, el futuro de la tecnología definitivamente se ve emocionante.
