OpenAI actualiza los modelos de generación de texto y reduce los precios
OpenAI, uno de los principales actores en el espacio de la IA generativa, ha anunciado el lanzamiento de nuevas versiones de GPT-3.5-turbo y GPT-4. Este último es su última IA de generación de texto, con una nueva capacidad llamada función de llamada. Esto permite a los desarrolladores describir funciones de programación para GPT-3.5-turbo y GPT-4 y hacer que los modelos creen código para ejecutar esas funciones.
Las llamadas a funciones pueden ayudar a crear chatbots que respondan preguntas llamando a herramientas externas, conviertan el lenguaje natural en consultas de bases de datos y extraigan datos estructurados del texto. OpenAI explica que «estos modelos se han ajustado para detectar cuándo es necesario llamar a una función… y para responder con JSON que se adhiere a la firma de la función». Las llamadas a funciones permiten a los desarrolladores recuperar datos estructurados del modelo de manera más confiable.
Más allá de las llamadas a funciones, OpenAI presenta una versión de GPT-3.5-turbo con una ventana de contexto muy ampliada. La ventana de contexto se refiere al texto que el modelo considera antes de generar cualquier texto adicional. Los modelos con ventanas de contexto pequeñas tienden a «olvidar» el contenido de incluso conversaciones muy recientes, lo que los lleva a desviarse del tema, a menudo de manera problemática.
El nuevo GPT-3.5-turbo ofrece cuatro veces la longitud del contexto (16 000 tokens) del GPT-3.5-turbo estándar al doble del precio: $0,003 por 1000 tokens de entrada y $0,004 por 1000 tokens de salida. OpenAI dice que puede ingerir alrededor de 20 páginas de texto de una sola vez, por debajo de los cientos de páginas que el modelo insignia de Anthropic, la startup de IA, puede procesar, en particular. (OpenAI está probando una versión de GPT-4 con una ventana de contexto de 32 000 tokens, pero solo en una versión limitada).
En el lado positivo, OpenAI dice que está reduciendo el precio de GPT-3.5-turbo, el original, no la versión con la ventana de contexto ampliada, en un 25 %. Los desarrolladores ahora pueden usar el modelo por $0.0015 por cada 1000 tokens de entrada y $0.002 por cada 1000 tokens de salida, lo que equivale a aproximadamente 700 páginas por dólar.
El precio también se está reduciendo para text-embedding-ada-002, uno de los modelos de incrustación de texto más populares de OpenAI. Las incrustaciones de texto miden la relación de las cadenas de texto y se usan comúnmente para búsquedas (donde los resultados se clasifican según su relevancia para una cadena de consulta) y recomendaciones (donde se recomiendan elementos con cadenas de texto relacionadas).
Text-embedding-ada-002 ahora cuesta $0.0001 por 1,000 tokens, una reducción del 75% del precio anterior. OpenAI dice que la reducción fue posible gracias a una mayor eficiencia en sus sistemas, un área clave de enfoque para la puesta en marcha, sin duda, ya que gasta cientos de millones de dólares en I+D e infraestructura.
OpenAI ha señalado que las actualizaciones incrementales de los modelos existentes, no los nuevos modelos masivos desde cero, son su modus operandi tras el lanzamiento de GPT-4 a principios de marzo. En una conferencia reciente organizada por Economic Times, el director ejecutivo Sam Altman reafirmó que OpenAI no ha comenzado a capacitar al sucesor de GPT-4, lo que indica que la empresa «tiene mucho trabajo por hacer» antes de iniciar ese modelo.
Llamada de función: un cambio de juego para los desarrolladores
Las llamadas a funciones cambian las reglas del juego para los desarrolladores que trabajan con modelos de IA que generan texto. Les permite describir funciones de programación para GPT-3.5-turbo y GPT-4 y hacer que los modelos creen código para ejecutar esas funciones. Esto significa que los desarrolladores pueden crear chatbots que respondan preguntas llamando a herramientas externas, conviertan el lenguaje natural en consultas de bases de datos y extraigan datos estructurados del texto.
Las llamadas a funciones son particularmente útiles para los desarrolladores que trabajan con grandes cantidades de datos no estructurados. Mediante el uso de llamadas a funciones, pueden extraer datos estructurados del texto, lo que facilita su análisis y uso. Esto puede ser especialmente útil para las empresas que necesitan analizar grandes cantidades de comentarios de los clientes o publicaciones en las redes sociales.
La ventana de contexto ampliada: mejora de la calidad de los modelos de generación de texto
La ventana de contexto ampliada es otra mejora significativa de los modelos de generación de texto de OpenAI. Se refiere al texto que el modelo considera antes de generar cualquier texto adicional. Los modelos con ventanas de contexto pequeñas tienden a «olvidar» el contenido de incluso conversaciones muy recientes, lo que los lleva a desviarse del tema, a menudo de manera problemática.
El nuevo GPT-3.5-turbo ofrece cuatro veces la longitud del contexto (16 000 tokens) del GPT-3.5-turbo estándar al doble del precio: $0,003 por 1000 tokens de entrada y $0,004 por 1000 tokens de salida. Esto significa que el modelo puede ingerir alrededor de 20 páginas de texto de una sola vez. Si bien esto está por debajo de los cientos de páginas que el modelo insignia de Anthropic, la startup de IA, puede procesar, sigue siendo una mejora significativa.
Precios reducidos: hacer que los modelos generadores de texto sean más accesibles
La decisión de OpenAI de reducir el precio de GPT-3.5-turbo y text-embedding-ada-002 es un paso significativo para hacer que los modelos de generación de texto sean más accesibles. El precio reducido para GPT-3.5-turbo significa que los desarrolladores ahora pueden usar el modelo por $0.0015 por 1000 tokens de entrada y $0.002 por 1000 tokens de salida, lo que equivale a aproximadamente 700 páginas por dólar.
El precio reducido de text-embedding-ada-002 es aún más significativo, con una reducción del 75 % con respecto al precio anterior. OpenAI dice que la reducción fue posible gracias a una mayor eficiencia en sus sistemas, un área clave de enfoque para la puesta en marcha, sin duda, ya que gasta cientos de millones de dólares en I+D e infraestructura.
Conclusión
Las actualizaciones de OpenAI a sus modelos de generación de texto y la reducción de precios son pasos significativos para hacer que los modelos de generación de texto sean más accesibles. La introducción de la función de llamada y la ventana de contexto ampliada cambian las reglas del juego para los desarrolladores que trabajan con grandes cantidades de datos no estructurados. El precio reducido de GPT-3.5-turbo y text-incrustación-ada-002 también es significativo, lo que hace que estos modelos sean más accesibles para empresas de todos los tamaños. A medida que OpenAI continúa invirtiendo en I+D e infraestructura, será interesante ver qué otras mejoras realiza en sus modelos de generación de texto en el futuro.