Los modelos de lenguaje grande son un tema candente en la investigación de IA en este momento. Pero se avecina un problema más candente y significativo: es posible que nos quedemos sin datos para capacitarlos… a partir de 2026.
Kalyan Veeramachaneni y el equipo de MIT Data-to-AI Lab pueden haber encontrado la solución: en su artículo sobre Rewrite and Rollback («R&R: Metric-Guided Adversarial Sentence Generation») recién publicado en el Hallazgos de AACL-IJCNLP, un marco R&R puede modificar y convertir datos de baja calidad (de fuentes como Twitter y 4Chan) en datos de alta calidad (textos de fuentes como Wikipedia y sitios web de la industria) al reescribir oraciones significativas y, por lo tanto, aumentar la cantidad de datos. tipo correcto de datos para probar y entrenar modelos de lenguaje. (Si bien hay una plétora de datos de baja calidad disponibles, no deberíamos estar entrenando modelos de lenguaje en publicaciones de redes sociales y comentarios de foros marginales… probablemente ya podría adivinar qué modelos lo han hecho).
Aquí está el documento revisado por pares para su referencia: https://aclanthology.org/2022.findings-aacl.41.pdf
Acerca de Kalyan Veeramachaneni
Kalyan Veeramachaneni es un científico investigador principal en el Facultad de Informática Schwarzman del MIT. En 2015 fundó Laboratorio de datos a IA del MIT (parte del MIT TAPAS) donde lidera un equipo de científicos con ideas afines en el camino hacia #AIforGood que combina Big Data + Human Interactions + Impactful Domains (máquina + humano + impacto social positivo). Su investigación se centra en la construcción de sistemas de inteligencia artificial a gran escala que funcionan junto con los humanos, aprendiendo continuamente de los datos que generan e integran predicciones en la toma de decisiones humanas «aumentadas». Los algoritmos, sistemas y software de código abierto desarrollados por el laboratorio MIT Data-to-AI (DAI) se implementan para aplicaciones en los sectores financiero, sanitario, educativo y energético. Antes de dirigir el MIT DAI Lab, fue científico investigador en MIT CSAIL. Kalyan cofundó tres empresas centradas en la IA: DatosCeboel spin-off comercial del MIT DAI Lab’s Bóveda de datos sintéticos (SDV) brindar a las empresas la oportunidad de utilizar datos sintéticos para probar y entrenar sus modelos de aprendizaje automático; Laboratorios de funciones, una empresa de automatización de ciencia de datos adquirida por Alteryx (NYSE:AYX); y PatrónExuna empresa de ciberseguridad que combinó el poder de los humanos y las máquinas en un sistema de inteligencia artificial que detecta amenazas cibernéticas a escala y en tiempo real, adquirida por Corelight.
Regístrese para recibir el boletín gratuito insideBIGDATA.
Únase a nosotros en Twitter: https://twitter.com/InsideBigData1
Únase a nosotros en LinkedIn: https://www.linkedin.com/company/insidebigdata/
Únase a nosotros en Facebook: https://www.facebook.com/insideBIGDATANOW