Cómo el aprendizaje por transferencia puede impulsar la eficiencia empresarial

El aprendizaje por transferencia es una técnica que ha ganado importancia en la comunidad de inteligencia artificial y aprendizaje automático durante las últimas décadas. Se refiere a almacenar el conocimiento adquirido al resolver un problema y aplicarlo a un problema diferente, pero relacionado. Hasta ahora, el aprendizaje por transferencia se ha aplicado al descubrimiento de subtipos de cáncer, juegos de video, clasificación de texto, imágenes médicas, filtrado de spam y más. El destacado científico informático Andrew Ng dijo en 2016 que el aprendizaje por transferencia será uno de los principales impulsores del éxito comercial del aprendizaje automático.

El aprendizaje de transferencia tiene sus beneficios, el principal de ellos es que permite a las empresas reutilizar modelos de aprendizaje automático para nuevos problemas con menos datos de entrenamiento. Pero el aprendizaje por transferencia es a menudo más simple en teoría que en ejecución. Por ejemplo, los modelos entrenados en un problema y aplicados a otro pueden sufrir una transferencia negativa, donde el modelo se vuelve menos preciso con el tiempo.

Los posibles obstáculos son la razón por la que es importante que las organizaciones que están considerando invertir en tecnologías que utilizan el aprendizaje por transferencia comprendan los conceptos básicos de la técnica. Con este conocimiento, es más probable que apliquen el aprendizaje por transferencia con éxito, sin importar el dominio en cuestión.

Orígenes del aprendizaje por transferencia

Los orígenes del aprendizaje por transferencia se encuentran en un estudio realizado por los académicos Stevo Bozinovski y Ante Fulgosi en 1976. En él, los coautores propusieron el uso del aprendizaje por transferencia en redes neuronales durante el proceso de entrenamiento del modelo. Casi una década después, se presentó un informe sobre la aplicación del aprendizaje por transferencia en el reconocimiento de caracteres. Pero no se cree que la técnica haya entrado en la corriente principal hasta alrededor de 1995, cuando se presentó en un taller durante la conferencia de aprendizaje automático NIPS en Denver, Colorado.

A diferencia del aprendizaje automático tradicional, que se produce en tareas y conjuntos de datos específicos, el aprendizaje por transferencia aprovecha las características y los pesos (entre otras variables) de modelos previamente entrenados para entrenar nuevos modelos. Las características son información extraída de un conjunto de datos para simplificar el proceso de aprendizaje de un modelo, como los bordes, las formas y las esquinas de los cuadros de firma y los tipos de letra en los documentos. Por otro lado, las ponderaciones determinan cómo un dato de entrada determinado influirá en los datos de salida.

Los modelos se entrenan en dos etapas en el aprendizaje por transferencia. Primero, está el reentrenamiento, donde el modelo se entrena en un conjunto de datos de referencia que representa una variedad de categorías. El siguiente es el ajuste fino, donde el modelo se entrena más en una tarea objetivo de interés. El paso de preentrenamiento ayuda al modelo a aprender características generales que se pueden reutilizar en la tarea de destino, aumentando su precisión.

El aprendizaje por transferencia tiene una gran cantidad de casos de uso, particularmente en el reconocimiento de imágenes y voz, así como en el procesamiento del lenguaje natural (NLP). Por ejemplo, un modelo entrenado para un automóvil autónomo probablemente se pueda aprovechar para un camión autónomo, al menos en parte. Y un modelo que desarrolló estrategias mientras jugaba al juego de mesa chino Go, como AlphaZero de DeepMind, probablemente pueda adaptarse a juegos relacionados como el ajedrez.

Google y Amazon están utilizando el aprendizaje por transferencia en Google Translate y Alexa para que la información obtenida a través de la capacitación en idiomas de altos recursos (por ejemplo, francés, alemán y español) se pueda aplicar a la traducción de idiomas de bajos recursos (yoruba, sindhi, y hawaiano). Mientras tanto, Yelp ha utilizado el aprendizaje por transferencia para identificar las fotos que tienen más probabilidades de contener spam subido por los usuarios a las listas de empresas.

Tipos de aprendizaje por transferencia

Hay varios tipos diferentes de aprendizaje por transferencia, cada uno con sus propias ventajas: aprendizaje por transferencia inductivo, no supervisado y transductivo. Con el aprendizaje por transferencia inductiva, los dominios de origen y destino son lo mismo, sin embargo, las tareas de origen y destino son diferentes. El aprendizaje no supervisado implica diferentes tareas en similar – pero no idénticos – dominios de origen y destino sin datos etiquetados. En cuanto al aprendizaje por transferencia transductiva, existen similitudes entre las tareas de origen y destino, pero los dominios son diferentes y solo el dominio de destino no tiene datos etiquetados.

Sin supervisión los modelos de aprendizaje por transferencia se distinguen de supervisado modelos en el sentido de que deben aprender a clasificar los datos por sí mismos, procesando datos sin etiquetar para aprender de su estructura inherente. Los modelos de aprendizaje por transferencia supervisados ​​se entrenan con datos de entrada anotados para una salida en particular hasta que pueden detectar las relaciones subyacentes entre las entradas y los resultados de salida.

El aprendizaje por transferencia se puede categorizar aún más por los componentes del modelo que se está transfiriendo. La transferencia de instancias reutiliza el conocimiento del dominio de origen a la tarea de destino, por ejemplo, mientras que la transferencia de parámetros funciona asumiendo que los modelos para tareas relacionadas comparten algunos parámetros. Los parámetros son las características internas de un modelo (incluidas las ponderaciones) que se aprenden de los datos de entrenamiento.

Desafíos

El aprendizaje por transferencia tiene muchas ventajas, a saber, que acelera el proceso de formación en una nueva tarea. Mientras que modelos como GPT-3 de OpenAI y AlphaStar de DeepMind pueden necesitar un hardware potente e innumerables horas para entrenarse, un modelo «ajustado» creado a través del aprendizaje por transferencia generalmente requiere una fracción del tiempo y esfuerzo.

Como señala PJ Kirk, ejecutivo de marketing digital de la firma de análisis de datos Analytics Engines, el aprendizaje por transferencia puede permitir que más organizaciones incorporen la inteligencia artificial y el aprendizaje automático en sus estrategias comerciales centrales. «La reducción de los costos financieros, de tiempo y de infraestructura han hecho que la inteligencia artificial y el aprendizaje automático sean más accesibles que nunca», escribió en una publicación de blog. “Las organizaciones ya no necesitan crear modelos de aprendizaje profundo dedicados y, en cambio, pueden capitalizar la experiencia y los modelos de otros para proporcionar la base sobre la cual se construye su solución.

Pero el aprendizaje por transferencia no está exento de contratiempos. Existe la transferencia negativa antes mencionada, causada por una diferencia demasiado alta de los dominios problemáticos o una incapacidad del modelo para entrenar para el conjunto de datos del nuevo dominio. Y hay otra barrera: la explicabilidad. A pesar de los avances recientes, sigue siendo difícil comprender qué permite una transferencia exitosa y qué partes de los modelos son responsables de ella.

Como buenas noticias en el frente de la explicabilidad, los investigadores de Google publicaron recientemente un artículo que arroja luz sobre los fundamentos del aprendizaje por transferencia. Descubrieron que las características se vuelven más especializadas cuanto más «denso» es el modelo, y que la reutilización de características es más frecuente en las partes del modelo más cercanas a los datos de entrada. Más allá de esto, descubrieron que es posible ajustar los modelos previamente entrenados en una tarea objetivo antes de lo que se suponía originalmente, sin sacrificar la precisión.

Beneficios

Un trabajo como el de Google ilustra que los desafíos en torno al aprendizaje por transferencia no son insuperables. En cualquier caso, los beneficios ciertamente parecen valer la pena.

Kevin Dewalt, cofundador de la consultora de inteligencia artificial Prolego, postula que el aprendizaje por transferencia es eficiente y económico a partes iguales. “Suponga que su director financiero solo aprueba el presupuesto suficiente para generar 1,000 imágenes de comidas etiquetadas con calorías, un mero 1% de lo que solicitó su científico de datos. Antes de rogar por más dinero, [can generate] resultados a través del aprendizaje por transferencia ”, escribió en una publicación de Medium. “A menos que sea Google o Facebook, obtener datos etiquetados puede resultar prohibitivo. Las técnicas de aprendizaje por transferencia brindan dos beneficios comerciales principales: Experimentos más rápidos [and] mayor ROI, [because] El aprendizaje por transferencia puede reducir el costo de la administración de datos en curso y aumentar el ROI de cualquier proyecto de aprendizaje automático «.

Si bien no es una panacea, el aprendizaje por transferencia ya se ha aplicado a muchos dominios problemáticos, incluidos la PNL, el procesamiento de audio y video, los modelos de subtítulos de imágenes y más. Cuando se enfrenta al entrenamiento de un nuevo modelo para un dominio de problema relacionado, o si hay una cantidad mínima de datos de entrenamiento, el aprendizaje de transferencia puede ahorrar un tiempo y energía invaluables.