Microsoft quiere que sea más fácil para las empresas alimentar sus datos de propiedad, junto con las consultas de los usuarios, en GPT-4 de OpenAI o ChatGPT en Azure y ver los resultados.
Esta funcionalidad, disponible como versión preliminar pública a través del servicio Azure OpenAI, elimina la necesidad de capacitar o ajustar sus propios modelos generativos de IA, dijo esta semana Andy Beatman, gerente sénior de marketing de productos para Azure AI, y señaló que se trataba de un «altamente capacidad solicitada por el cliente».
Solo podemos suponer que se refiere a los muy solicitados por los clientes, no a los ejecutivos de Microsoft que continúan dando vueltas a esta exageración de la IA.
Se nos dice que el sistema básicamente funciona así: un usuario envía una consulta a Azure, la nube de Microsoft determina qué datos corporativos internos se necesitan para completar esa solicitud, la pregunta y los datos recuperados se combinan en una nueva consulta que se pasa al modelo de elección de OpenAI, el modelo predice una respuesta y ese resultado se devuelve al usuario.
Esto es supuestamente útil.
«Azure OpenAI en sus datos, junto con Azure Cognitive Search, determina qué datos recuperar de la fuente de datos designada en función de la entrada del usuario y el historial de conversaciones proporcionado», explicó Microsoft. «Estos datos luego se aumentan y se vuelven a enviar como un aviso al modelo de OpenAI, y la información recuperada se agrega al aviso original».
Centrándose en los datos propietarios
Microsoft ha invertido más de $ 10 mil millones en OpenAI y está integrando rápidamente los modelos y herramientas de IA del advenedizo en productos y servicios en toda su amplia cartera.
No hay duda de que existe un impulso para crear modelos personalizados, que vayan más allá de su capacitación básica y se personalicen para aplicaciones y organizaciones individuales. De esa manera, cuando llega una consulta, se puede generar una respuesta específica en lugar de una genérica.
Se ha hablado de este enfoque durante varios años. En los últimos meses, a medida que se aceleraba el ritmo de la innovación generativa de IA, los proveedores comenzaron a responder a la llamada. A fines del año pasado, Nvidia presentó NeMo, un marco dentro de su plataforma AI Enterprise más grande, que ayuda a las organizaciones a aumentar sus LLM con datos patentados.
«Cuando trabajamos con empresas empresariales, muchas de ellas están interesadas en crear modelos para sus propios fines con sus propios datos», dijo a los periodistas Manuvir Das, vicepresidente de informática empresarial de Nvidia, durante el período previo al espectáculo GTC 2023 del gigante GPU. en marzo.
Dos meses después, Nvidia se asoció con ServiceNow para permitir que las empresas que utilizan la plataforma en la nube de ServiceNow y las herramientas de IA de Nvidia entrenen modelos de IA con su propia información.
el turno de Redmond
Ahora viene Microsoft. «Con las capacidades avanzadas de IA conversacional de ChatGPT y GPT-4, puede optimizar la comunicación, mejorar el servicio al cliente y aumentar la productividad en toda su organización», escribió Beatman. «Estos modelos no solo aprovechan su conocimiento previamente capacitado, sino que también acceden a fuentes de datos específicas, lo que garantiza que las respuestas se basen en la información más reciente disponible».
A través de estas capacidades más recientes en Azure OpenAI Service, las empresas pueden simplificar procesos como la recepción de documentos, la indexación, el desarrollo de software y los procedimientos de recursos humanos para mejorar de alguna manera las solicitudes de datos de autoservicio, las tareas de servicio al cliente, la creación de ingresos y las interacciones con los clientes y otras empresas.
El servicio puede conectarse a los datos corporativos de un cliente desde cualquier fuente y ubicación, ya sea que estén almacenados localmente, en la nube o en el borde, e incluye herramientas para procesar y organizar los datos para extraer información que se puede usar en modelos de IA. También puede integrarse con los sistemas existentes de una empresa a través de una API y un kit de desarrollo de software (SDK) de Microsoft.
Además, incluye una aplicación de muestra para acelerar el tiempo de implementación del servicio.
Azure OpenAI Service en sus datos permite conexiones a fuentes de Microsoft como el índice de Azure Cognitive Search para la integración con modelos de OpenAI, el contenedor de almacenamiento de blogs de Azure y archivos locales en el portal de Azzure AI, con los datos ingeridos en el índice de Azure Cognitive Search, estamos dijo.
Las organizaciones necesitarán una aplicación de servicio Azure OpenAI aprobada y modelos GPT-3.5-Turbo o GPT-4 implementados. Pueden usar Azure AI Studio para conectar el origen de datos al servicio.
«Una vez que su fuente de datos está conectada, puede comenzar a hacer preguntas y conversar con los modelos OpenAI a través de Azure AI Studio», escribió Beatman. «Esto le permite obtener información valiosa y tomar decisiones comerciales informadas».
Un par de cosas a tener en cuenta
Hay algunas advertencias. Los usuarios no deben hacer preguntas largas, sino dividirlas en varias preguntas. El límite máximo para la cantidad de tokens por respuesta del modelo es de 1500, incluida la pregunta del usuario, los mensajes del sistema, los documentos de búsqueda recuperados (conocidos como «fragmentos»), además de las indicaciones internas y la respuesta.
También deberían limitar las respuestas a sus datos, lo que «alienta al modelo a responder utilizando solo sus datos y está seleccionado de forma predeterminada», escribió Microsoft.
El servicio también puede desencadenar una preocupación clave: la filtración de datos corporativos al dominio público al usarlo con los modelos de IA.
ChatGPT, que se introdujo en Azure OpenAI Service en mayo, mantiene registros de todas las conversaciones de forma predeterminada, incluidas las consultas y las respuestas de IA. Recuerde que cuando lo alimenta con información confidencial interna, a los delincuentes les encanta aspirar las credenciales de las cuentas de ChatGPT y, por lo tanto, acceder a cualquier historial de chat.
Dmitry Shestakov, jefe de inteligencia de amenazas en el equipo de seguridad de la información Group-IB, advirtió que «muchas empresas están integrando ChatGPT en su flujo operativo. Los empleados ingresan correspondencia clasificada o usan el bot para optimizar el código propietario». ®
