Uljan Sharka, fundador y director ejecutivo de iGenius, ha pasado los últimos siete años trabajando en modelos de lenguaje e IA generativa. Hasta este momento, todo se ha centrado en la tecnología, desde el tamaño del modelo hasta la cantidad de datos de entrenamiento que utiliza y los tiempos de inferencia. Y lo que ha aprendido durante los últimos siete años y tres ciclos de desarrollo diferentes es que no se trata de la tecnología, se trata de cómo atendemos las necesidades humanas. Y eso requiere una forma completamente nueva de ver los LLM.
En VB Transform 2023, Sharka habló con el director ejecutivo de VB, Matt Marshall, sobre por qué los LLM empresariales son un hueso particularmente complejo de roer y por qué adoptaron un enfoque de GPT para números con su asesor virtual de inteligencia de datos llamado crystal. En otras palabras, permitir que la IA generativa responda a consultas relacionadas con datos, no solo contenido.
Ese es el principio fundamental para diseñar una solución que garantice que incluso los equipos con poca alfabetización de datos tengan la capacidad de tomar mejores y más rápidas decisiones basadas en datos a diario.
“Lo que está sucediendo ahora mismo en la empresa es que nos obsesionamos con los modelos de lenguaje y tenemos razón. El lenguaje es sin duda la mejor manera de humanizar la tecnología”, dijo. “Pero la forma en que lo estamos implementando aún debe evolucionar. En primer lugar, estamos pensando exclusivamente en modelos de lenguaje, cuando a nivel empresarial todavía tenemos que lidiar con mucha más complejidad”.
Cambiando el paradigma LLM desde cero
Todas las empresas tienen los datos que necesitan en sus bases de datos y herramientas de inteligencia comercial para optimizar la toma de decisiones, pero nuevamente, no todos los equipos pueden acceder a ellos y es posible que ni siquiera tengan las habilidades o la comprensión necesarias para pedir lo que necesitan y luego interpretar. esos datos
“Comenzamos con la idea de ayudar a las organizaciones a maximizar el valor de su mina de oro de datos que ya poseen”, dijo Sharka. “Nuestra visión es utilizar el lenguaje como el futuro de la interfaz. El lenguaje fue el punto de partida. No se nos ocurrió esta idea de la IA compuesta, pero a medida que comenzamos a construir y comenzamos a hablar con las empresas, nos enfrentamos a desafíos continuos”.
La interfaz es solo un pequeño porcentaje de lo que se requiere para hacer que una base de datos compleja y sofisticada sea certificada y accesible para cualquier nivel de conocimiento tecnológico.
“Estamos innovando la experiencia del usuario con el lenguaje, pero aún mantenemos el núcleo de la tecnología numérica (ciencia de datos, algoritmos) en el corazón de la solución”, dijo.
iGenius necesitaba resolver los principales problemas que afectan a la mayoría de los sistemas de IA de generación, incluidas las alucinaciones, las respuestas desactualizadas, la seguridad, el incumplimiento y la validez. Entonces, para que el modelo tuviera éxito, dijo Sharka, terminaron combinando varias tecnologías de IA con una estrategia de IA compuesta.
La IA compuesta combina la ciencia de datos, el aprendizaje automático y la IA conversacional en un solo sistema.
“Nuestro enfoque de GPT para números es una IA compuesta que combina una plataforma de integración de datos, que incluye permisos, integrando todas las fuentes de datos existentes, con una tecnología de gráficos de conocimiento para que podamos aprovechar el poder de la IA generativa”, explicó. “En primer lugar, para crear un conjunto de datos personalizado, debemos ayudar a las empresas a transformar realmente sus datos estructurados en un conjunto de datos que luego dará como resultado un modelo de lenguaje”.
El motor de inteligencia artificial de crystal, o el gráfico de conocimiento empresarial, se puede utilizar en cualquier industria, ya que utiliza el aprendizaje por transferencia, lo que significa que crystal transfiere su base de conocimientos preentrenada y luego incorpora solo nueva capacitación o lenguaje relacionado con la industria en la parte superior de su base. A partir de ahí, su componente de aprendizaje incremental significa que, en lugar de volver a capacitarse desde cero cada vez que se agrega nueva información, solo agrega nuevos datos sobre su base consistente.
Y con los datos de uso de los usuarios, el sistema se autoentrena para adaptar sus funciones a las necesidades y deseos de un individuo, poniéndolos a cargo de los datos. También ofrece sugerencias basadas en datos de perfil y evoluciona continuamente.
“De hecho, hacemos de esto una experiencia de vida y respiración que se adapta en función de cómo los usuarios interactúan con el sistema”, explicó Sharka. “Esto significa que no solo obtenemos una respuesta, y no solo obtenemos información visual además del texto. Recibimos asistencia de la IA, que lee esa información y nos brinda más contexto, y luego se actualiza y se adapta en tiempo real a lo que podría ser la siguiente mejor opción”.
A medida que hace clic en cada sugerencia, la IA se adapta, de modo que todo el escenario de la experiencia del usuario se diseña en torno al usuario en tiempo real. Esto es crucial porque una de las principales barreras para los usuarios con menos conocimientos tecnológicos es no comprender la ingeniería rápida.
“Esto es importante porque estamos hablando mucho de la IA como la tecnología que democratizará la información para todos”, dijo. Continúa señalando cuán crítico es esto porque la mayoría de los usuarios en las organizaciones no tienen conocimientos de datos y no saben qué preguntar.
Clientes como Allianz y Enel también los empujaron desde el principio hacia la idea de que un modelo de lenguaje no debería servir para ningún caso de uso posible, sino para el dominio específico y los datos privados de una empresa.
“Nuestro diseño tiene que ver con ayudar a las organizaciones a implementar este cerebro de IA para un caso de uso dedicado, que puede estar totalmente aislado del resto de la red”, dijo. “Desde ahí, pueden conectar sus datos, transformarlos en un modelo de lenguaje y abrirlos con aplicaciones listas para usar para potencialmente miles de usuarios”.
Diseñando los LLM del futuro
A medida que evolucionan las plataformas de IA de generación empresarial, será crucial tener en cuenta los nuevos componentes de diseño al implementar una solución que sea fácil de usar.
“Los motores de recomendación y los componentes asincrónicos serán clave para cerrar la brecha de habilidades”, explicó Sharka. “Si queremos democratizar la IA de verdad, debemos hacerlo fácil para todos a la par. No importa si sabe cómo solicitar o no saber cómo solicitar, debe poder aprovechar todo el valor de esa tecnología”.
Esto incluye agregar componentes que han tenido éxito en el espacio del consumidor, el tipo de funciones que los usuarios esperan en sus interacciones en línea, como motores de recomendación.
“Creo que los motores de recomendación van a ser clave para respaldar estos modelos, para hiperpersonalizar la experiencia de los usuarios finales y también guiar a los usuarios hacia una experiencia segura, pero también para evitar que fallen los casos de uso basados en dominios”, dijo. “Cuando trabajas en dominios específicos, realmente necesitas guiar a los usuarios para que entiendan que esta es una tecnología para ayudarlos a trabajar, y no para preguntarles sobre el clima o escribirles un poema”.
Un componente asíncrono también es esencial para que los usuarios no solo hablen con la tecnología, sino que la tecnología les responda. Por ejemplo, iGenius ha diseñado lo que ellos llaman ciencia de datos asíncrona.
“Ahora, con gen AI, puede tener un usuario comercial que nunca ha trabajado con este tipo de tecnología que normalmente habla con la tecnología como lo hacen con las personas, como lo hacen con un científico de datos”, explicó Sharka. “Luego, la tecnología tomará esa tarea, pasará a un segundo plano, la ejecutará y, cuando el resultado esté listo, llegará al usuario en su mejor punto de contacto posible”.
“Imagínese que Crystal le envía un mensaje e inicia la conversación sobre algo importante que se encuentra en sus datos”.
