Snorkel AI, la empresa de plataforma de IA centrada en datos, presentó hoy el Desarrollo de modelos básicos centrados en datos para que las empresas desbloqueen casos de uso complejos y críticos para el rendimiento con GPT-3, RoBERTa, T5 y otros modelos básicos. Con este lanzamiento, los equipos de aprendizaje automático y ciencia de datos empresariales pueden superar los desafíos de adaptación e implementación mediante la creación de grandes conjuntos de datos específicos de dominio para ajustar los modelos básicos y usarlos para construir modelos más pequeños y especializados que se pueden implementar dentro de las restricciones de gobierno y costos. Las nuevas capacidades para el desarrollo de modelos de base centrados en datos están disponibles en Snorkel Flow, la plataforma insignia de la compañía, en versión preliminar.
Los modelos básicos como GPT-3, DALL-E-2, Stable Diffusion y más ofrecen muchas promesas para tareas generativas, creativas y exploratorias. Pero las empresas aún no están cerca de implementar modelos básicos en producción para NLP complejos y críticos para el rendimiento y otros casos de uso de automatización. Las empresas necesitan grandes volúmenes de datos de capacitación etiquetados específicos de tareas y dominios para adaptar los modelos básicos para uso específico de dominios. La creación de estos conjuntos de datos de entrenamiento de alta calidad con enfoques tradicionales de etiquetado manual de datos es terriblemente lenta y costosa. Además, los modelos básicos son increíblemente costosos de desarrollar y mantener y plantean restricciones de gobernanza cuando se implementan en producción.
Estos desafíos deben abordarse antes de que las empresas puedan aprovechar los beneficios de los modelos básicos. El desarrollo de gestión de bases centrado en datos de Snorkel Flow es un nuevo paradigma para que los equipos empresariales de IA/ML superen los desafíos de adaptación e implementación que actualmente les impiden usar modelos básicos para acelerar el desarrollo de IA.
Utilizando las primeras versiones de Data-centric Foundation Management Development, los equipos de AI/ML han creado e implementado aplicaciones NLP de alta precisión en días:
- Un importante banco de EE. UU. mejoró la precisión del 25,5 % al 91,5 % al extraer información de contratos complejos de varios cientos de páginas.
- Una empresa global de comercio electrónico de artículos para el hogar mejoró la precisión entre un 7 % y un 22 % al clasificar los productos a partir de las descripciones y redujo el tiempo de desarrollo de cuatro semanas a un día.
- Pixability destiló el conocimiento de los modelos básicos y creó modelos de clasificación más pequeños con más del 90 % de precisión en días.
- El equipo de investigación de Snorkel AI y los socios de la Universidad de Stanford y la Universidad de Brown han logrado la misma calidad que un modelo GPT-3 ajustado con un modelo que era más de 1000 veces más pequeño en LEDGAR, una tarea compleja de referencia legal de 100 clases.
“Con más de 3 millones de videos creados diariamente en Youtube, necesitamos categorizar de manera constante y precisa millones de videos para ayudar a las marcas a colocar adecuadamente sus anuncios y maximizar el rendimiento”, dijo Jackie Swansburg Paulino, director de productos de Pixability. “Con Snorkel Flow, podemos aplicar flujos de trabajo centrados en datos para destilar el conocimiento de los modelos básicos y crear modelos de clasificación de alta cardinalidad con más del 90 % de precisión en días”.
Las características de Enterprise Foundation Model Management Suite incluyen:
- Ajuste fino del modelo de cimentación para crear grandes conjuntos de datos de entrenamiento específicos de dominio para ajustar y adaptar modelos básicos para casos de uso empresarial con precisión de grado de producción.
- Modelo de base Warm Start para usar modelos de base y aprendizaje de cero y pocos disparos de última generación para etiquetar automáticamente los datos de entrenamiento con solo presionar un botón para entrenar modelos desplegables.
- Generador de solicitud de modelo de base para desarrollar, evaluar y combinar indicaciones para ajustar y corregir el resultado de los modelos básicos para etiquetar conjuntos de datos con precisión y entrenar modelos desplegables.
“Las empresas han tenido problemas para aprovechar el poder de los modelos básicos como GPT-3 y DALL-E debido a los desafíos fundamentales de adaptación e implementación. Para trabajar en casos de uso empresariales reales, los modelos básicos deben adaptarse utilizando datos de capacitación específicos de tareas y deben superar los principales desafíos de implementación en torno a costos y gobernanza”, dijo Alex Ratner, director ejecutivo y cofundador de Snorkel AI. “El enfoque único centrado en los datos de Snorkel Flow proporciona el puente necesario entre los modelos básicos y la IA empresarial, resolviendo los desafíos de adaptación e implementación para que las empresas puedan lograr un valor real a partir de los modelos básicos”.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW
