Meta-aprendizaje en el aprendizaje de la máquina se refiere a los algoritmos de aprendizaje que aprenden de otros algoritmos de aprendizaje.
Más comúnmente, esto significa el uso de algoritmos de aprendizaje automático que aprenden a combinar mejor las predicciones de otros algoritmos de aprendizaje automático en el campo del aprendizaje en conjunto.
No obstante, el meta-aprendizaje también podría referirse al proceso manual de selección de modelos y ajuste de algoritmos realizado por un practicante en un proyecto de aprendizaje de máquinas que los algoritmos modernos de automóviles tratan de automatizar. También se refiere al aprendizaje a través de múltiples tareas de modelado predictivo relacionadas, llamado aprendizaje multitarea, donde los algoritmos de meta-aprendizaje aprenden a aprender.
En este tutorial, descubrirá el meta-aprendizaje en el aprendizaje automático.
Después de completar este tutorial, lo sabrás:
- El meta-aprendizaje se refiere a los algoritmos de aprendizaje automático que aprenden de la salida de otros algoritmos de aprendizaje automático.
- Los algoritmos de meta-aprendizaje se refieren típicamente a algoritmos de aprendizaje en conjunto como el apilamiento, que aprenden a combinar las predicciones de los miembros del conjunto.
- El meta-aprendizaje también se refiere a los algoritmos que aprenden a aprender a través de un conjunto de tareas de predicción relacionadas, lo que se conoce como aprendizaje multitarea.
Empecemos.
¿Qué es el meta-aprendizaje en el aprendizaje automático?
Foto de Ryan Hallock, algunos derechos reservados.
Resumen del Tutorial
Este tutorial está dividido en cinco partes; son:
- ¿Qué es el Meta?
- ¿Qué es el meta-aprendizaje?
- Meta-Algoritmos, Meta-Clasificadores y Meta-Modelos
- Selección y ajuste de modelos como meta-aprendizaje
- El aprendizaje multitarea como meta-aprendizaje
¿Qué es el Meta?
Meta se refiere a un nivel superior.
Meta típicamente significa elevar el nivel de abstracción un paso y a menudo se refiere a la información sobre algo más.
Por ejemplo, probablemente esté familiarizado con «meta-datosque son datos sobre datos.
Los datos sobre los datos a menudo se llaman metadatos…
– Página 512, Minería de datos: Herramientas y técnicas prácticas de aprendizaje de máquinas, 2016.
Usted almacena datos en un archivo y un ejemplo común de metadatos son los datos acerca de los datos almacenados en el archivo, tales como:
- El nombre del archivo.
- El tamaño del archivo.
- La fecha en que se creó el archivo.
- La fecha en que el archivo fue modificado por última vez.
- El tipo de archivo.
- La ruta del archivo.
Ahora que estamos familiarizados con la idea de «metaconsideremos el uso del término en el aprendizaje de la máquina, comometa-aprendizaje.”
¿Qué es el meta-aprendizaje?
El meta-aprendizaje se refiere a aprender sobre el aprendizaje.
El meta-aprendizaje en el aprendizaje automático se refiere más comúnmente a los algoritmos de aprendizaje automático que aprenden de la salida de otros algoritmos de aprendizaje automático.
En nuestro proyecto de aprendizaje de la máquina, en el que estamos intentando averiguar (aprender) qué algoritmo funciona mejor con nuestros datos, podríamos pensar en un algoritmo de aprendizaje de la máquina que tomara el lugar de nosotros mismos, al menos hasta cierto punto.
Los algoritmos de aprendizaje de máquinas aprenden de los datos históricos. Por ejemplo, los algoritmos de aprendizaje supervisado aprenden a mapear ejemplos de patrones de entrada a ejemplos de patrones de salida para abordar los problemas de clasificación y de modelado predictivo de regresión.
Los algoritmos se entrenan con datos históricos directamente para producir un modelo. El modelo puede utilizarse posteriormente para predecir valores de salida, como un número o una etiqueta de clase, para nuevos ejemplos de entrada.
- Algoritmos de aprendizaje: Aprende de los datos históricos y haz predicciones con nuevos ejemplos de datos.
Los algoritmos de meta-aprendizaje aprenden de la salida de otros algoritmos de aprendizaje de máquinas que aprenden de los datos. Esto significa que el meta-aprendizaje requiere la presencia de otros algoritmos de aprendizaje que ya han sido entrenados con datos.
Por ejemplo, los algoritmos de meta-aprendizaje supervisado aprenden a mapear ejemplos de resultados de otros algoritmos de aprendizaje (como los números predichos o las etiquetas de clase) en ejemplos de valores objetivo para problemas de clasificación y regresión.
De manera similar, los algoritmos de meta-aprendizaje hacen predicciones tomando la salida de los algoritmos de aprendizaje de máquinas existentes como entrada y prediciendo un número o etiqueta de clase.
- Algoritmos de meta-aprendizaje: Aprende de los resultados de los algoritmos de aprendizaje y haz una predicción dada las predicciones hechas por otros modelos.
De esta manera, el meta-aprendizaje se produce un nivel por encima del aprendizaje automático.
Si el aprendizaje automático aprende a utilizar mejor la información de los datos para hacer predicciones, entonces el meta-aprendizaje o aprendizaje automático aprende a utilizar mejor las predicciones de los algoritmos de aprendizaje automático para hacer predicciones.
Ahora que estamos familiarizados con la idea del meta-aprendizaje, veamos algunos ejemplos de algoritmos de meta-aprendizaje.
Meta-Algoritmos, Meta-Clasificadores y Meta-Modelos
Los algoritmos de meta-aprendizaje a menudo se denominan simplemente meta-algoritmos o meta-aprendices.
- Meta-Algoritmo: Una mano corta para un algoritmo de aprendizaje de una máquina de meta-aprendizaje.
Del mismo modo, los algoritmos de meta-aprendizaje para las tareas de clasificación pueden denominarse metaclasificadores y los algoritmos de meta-aprendizaje para las tareas de regresión pueden denominarse meta-regresores.
- Metaclasificador: Algoritmo de meta-aprendizaje para la clasificación de tareas de modelado predictivo.
- Meta-Regresión: Algoritmo de meta-aprendizaje para tareas de modelado predictivo de regresión.
Después de que un algoritmo de meta-aprendizaje es entrenado, resulta en un modelo de meta-aprendizaje, por ejemplo, las reglas específicas, los coeficientes o la estructura aprendida de los datos. El modelo de meta-aprendizaje o meta-modelo puede entonces ser usado para hacer predicciones.
- Meta-Modelo: Resultado de la ejecución de un algoritmo de meta-aprendizaje.
El algoritmo de meta-aprendizaje más conocido se llama generalización apilada, o apilamiento para abreviar.
El apilamiento es probablemente la técnica de meta-aprendizaje más popular.
– Página 82, Clasificación de patrones usando métodos de ensamblaje, 2010.
El apilamiento es un tipo de algoritmo de aprendizaje en conjunto. El aprendizaje en conjunto se refiere a los algoritmos de aprendizaje de máquinas que combinan las predicciones de dos o más modelos de predicción. El apilamiento utiliza otro modelo de aprendizaje automático, un meta-modelo, para aprender a combinar mejor las predicciones de los miembros del conjunto que contribuyen.
Para inducir un metaclasificador, primero se entrenan los clasificadores de base (primera etapa) y luego el metaclasificador (segunda etapa). En la fase de predicción, los clasificadores base emitirán sus clasificaciones, y luego el/los metaclasificador/es hará/n la clasificación final (en función de los clasificadores base).
– Página 82, Clasificación de patrones usando métodos de ensamblaje, 2010.
Como tal, el algoritmo de conjunto de apilamiento se conoce como un tipo de meta-aprendizaje, o como un algoritmo de meta-aprendizaje.
- Apilamiento: Algoritmo de aprendizaje en conjunto que utiliza el meta-aprendizaje para combinar las predicciones hechas por los miembros del conjunto.
También hay algoritmos de aprendizaje en conjunto menos conocidos que utilizan un meta-modelo para aprender a combinar las predicciones de otros modelos de aprendizaje de máquinas. En particular, una mezcla de expertos que utiliza un modelo de compuerta (el meta-modelo) para aprender a combinar las predicciones de los modelos de expertos.
Mediante el uso de un meta-aprendizaje, este método trata de inducir qué clasificadores son fiables y cuáles no.
– Página 82, Clasificación de patrones usando métodos de ensamblaje, 2010.
En términos más generales, los meta-modelos para el aprendizaje supervisado son casi siempre algoritmos de aprendizaje en conjunto, y cualquier algoritmo de aprendizaje en conjunto que utilice otro modelo para combinar las predicciones de los miembros del conjunto puede ser denominado meta-algoritmo de aprendizaje.
En su lugar, el apilamiento introduce el concepto de un metalúrgico […] El apilamiento trata de aprender qué clasificadores son los fiables, utilizando otro algoritmo de aprendizaje -el metal- para descubrir la mejor manera de combinar la salida de los alumnos de la base.
– Página 497, Minería de datos: Herramientas y técnicas prácticas de aprendizaje de máquinas, 2016.
Selección y ajuste de modelos como meta-aprendizaje
El entrenamiento de un algoritmo de aprendizaje de máquinas en un conjunto de datos históricos es un proceso de búsqueda.
La estructura interna, las reglas o los coeficientes que componen el modelo se modifican frente a alguna función de pérdida.
Este tipo de proceso de búsqueda se denomina optimización, ya que no buscamos simplemente una solución, sino una solución que maximice una métrica de rendimiento como la clasificación o minimice una puntuación de pérdida, como el error de predicción.
Esta idea de aprendizaje como optimización no es simplemente una metáfora útil; es el cálculo literal realizado en el corazón de la mayoría de los algoritmos de aprendizaje automático, ya sea analíticamente (menos cuadrados) o numéricamente (descenso de gradiente), o algún procedimiento de optimización híbrido.
A un nivel superior al de la capacitación de un modelo, el meta-aprendizaje implica encontrar un procedimiento de preparación de datos, un algoritmo de aprendizaje e hiperparámetros de algoritmos de aprendizaje (la tubería de modelación completa) que resulten en la mejor puntuación para una métrica de rendimiento en el arnés de pruebas.
Este también es un procedimiento de optimización que es típicamente realizado por un humano.
Como tal, podríamos pensar en nosotros mismos como meta-aprendices en un proyecto de aprendizaje de máquinas.
Este no es el significado común del término, pero es un uso válido. Esto cubriría tareas como la selección de modelos y el ajuste de hiperparámetros de algoritmos.
La automatización del procedimiento se denomina generalmente aprendizaje automático de la máquina…acortado a «Automóvil.”
… el usuario simplemente proporciona datos, y el sistema AutoML determina automáticamente el enfoque que mejor funciona para esta aplicación en particular. De este modo, AutoML hace que los enfoques de aprendizaje automático de última generación sean accesibles a los científicos del dominio que están interesados en aplicar el aprendizaje automático pero que no tienen los recursos para conocer en detalle las tecnologías que hay detrás de él.
– Página ix, Aprendizaje automático de máquinas: Métodos, sistemas, desafíos, 2019.
El automl no puede ser llamado meta-aprendizaje, pero los algoritmos de automl pueden aprovechar el meta-aprendizaje a través de tareas de aprendizaje, llamado aprender a aprender.
El meta-aprendizaje, o aprender a aprender, es la ciencia que consiste en observar sistemáticamente cómo los diferentes enfoques de aprendizaje automático funcionan en una amplia gama de tareas de aprendizaje, y luego aprender de esta experiencia, o de los meta-datos, para aprender nuevas tareas mucho más rápido de lo que sería posible de otra manera.
– Página 35, Aprendizaje automático de máquinas: Métodos, sistemas, desafíos, 2019.
El aprendizaje multitarea como meta-aprendizaje
Aprender a aprender es un campo de estudio relacionado que también se conoce coloquialmente como meta-aprendizaje.
Si el aprendizaje implica un algoritmo que mejora con la experiencia en una tarea, entonces aprender a aprender es un algoritmo que se utiliza a través de múltiples tareas que mejora con las experiencias y las tareas.
…se dice que un algoritmo aprende a aprender si su rendimiento en cada tarea mejora con la experiencia y con el número de tareas.
– Aprender a aprender: Introducción y panorama general, 1998.
En lugar de desarrollar manualmente un algoritmo para cada tarea o seleccionar y ajustar un algoritmo existente para cada tarea, los algoritmos de aprendizaje se ajustan a sí mismos en base a una colección de tareas similares.
El meta-aprendizaje proporciona un paradigma alternativo en el que un modelo de aprendizaje automático gana experiencia a lo largo de múltiples episodios de aprendizaje -a menudo cubriendo una distribución de tareas relacionadas- y utiliza esta experiencia para mejorar su futuro rendimiento de aprendizaje.
– Meta-aprendizaje en redes neuronales: A Survey, 2020.
Esto se conoce como el problema del aprendizaje multitarea.
Los algoritmos que se desarrollan para los problemas de aprendizaje de múltiples tareas aprenden a aprender y pueden ser denominados meta-aprendizaje.
La idea de usar el aprendizaje para aprender o el meta-aprendizaje para adquirir conocimientos o sesgos inductivos tiene una larga historia.
– Aprender a aprender por descenso de gradiente por descenso de gradiente, 2016.
- Aprender a aprender: Algoritmos de aprendizaje de aplicaciones en problemas de aprendizaje de tareas múltiples en los que realizan meta-aprendizaje a través de las tareas, por ejemplo, aprender sobre el aprendizaje en las tareas.
Esto incluye técnicas familiares como el aprendizaje de transferencia que son comunes en los algoritmos de aprendizaje profundo para la visión por computadora. Aquí es donde una red neural profunda se entrena en una tarea de visión por computadora y se utiliza como punto de partida, tal vez con muy poca modificación o entrenamiento para una tarea de visión relacionada.
El aprendizaje por transferencia funciona bien cuando las características que son extraídas automáticamente por la red de las imágenes de entrada son útiles en múltiples tareas relacionadas, como las características abstractas extraídas de objetos comunes en las fotografías.
Esto suele entenderse en un contexto de aprendizaje supervisado, en el que la aportación es la misma pero el objetivo puede ser de distinta naturaleza. Por ejemplo, podemos aprender sobre un conjunto de categorías visuales, como gatos y perros, en el primer contexto, y luego aprender sobre un conjunto diferente de categorías visuales, como hormigas y avispas, en el segundo contexto.
– Página 536, Aprendizaje profundo, 2016.
Más lecturas
Esta sección proporciona más recursos sobre el tema si desea profundizar en él.
Tutoriales relacionados
Documentos
Libros
Artículos
Resumen
En este tutorial, descubriste el meta-aprendizaje en el aprendizaje automático.
Específicamente, aprendiste:
- El meta-aprendizaje se refiere a los algoritmos de aprendizaje automático que aprenden de la salida de otros algoritmos de aprendizaje automático.
- Los algoritmos de meta-aprendizaje se refieren típicamente a algoritmos de aprendizaje en conjunto como el apilamiento, que aprenden a combinar las predicciones de los miembros del conjunto.
- El meta-aprendizaje también se refiere a los algoritmos que aprenden a aprender a través de un conjunto de tareas de predicción relacionadas, lo que se conoce como aprendizaje multitarea.
¿Tiene alguna pregunta?
Haga sus preguntas en los comentarios de abajo y haré lo posible por responder.