Cómo utilizar XGBoost para la previsión de series temporales

XGBoost es una implementación eficiente de la potenciación de gradientes para los problemas de clasificación y regresión.

Es rápido y eficiente, y funciona bien, si no es el mejor, en una amplia gama de tareas de modelado predictivo y es el favorito entre los ganadores de concursos de ciencias de la información, como los de Kaggle.

XGBoost también puede utilizarse para la previsión de series temporales, aunque requiere que el conjunto de datos de series temporales se transforme primero en un problema de aprendizaje supervisado. También requiere el uso de una técnica especializada para evaluar el modelo llamada validación de avance, ya que la evaluación del modelo mediante la validación cruzada de pliegues k daría lugar a resultados sesgados de manera optimista.

En este tutorial, descubrirás cómo desarrollar un modelo XGBoost para la previsión de series temporales.

Después de completar este tutorial, lo sabrás:

• XGBoost es una implementación del algoritmo de conjunto de potenciación de gradientes para la clasificación y la regresión.
• Los conjuntos de datos de series temporales pueden transformarse en aprendizaje supervisado mediante una representación de ventana deslizante.
• Cómo encajar, evaluar y hacer predicciones con un modelo XGBoost para la previsión de series temporales.

Empecemos.

Resumen del Tutorial

Este tutorial está dividido en tres partes; son:

1. Conjunto XGBoost
2. Preparación de datos de series de tiempo
3. XGBoost para la previsión de series temporales

Conjunto XGBoost

XGBoost es la abreviatura de Extreme Gradient Boosting y es una implementación eficiente del algoritmo de aprendizaje de la máquina de impulso de gradiente estocástico.

El algoritmo de aumento de gradiente estocástico, también llamado máquinas de aumento de gradiente o aumento de árbol, es una poderosa técnica de aprendizaje de máquinas que funciona bien o incluso mejor en una amplia gama de problemas de aprendizaje de máquinas desafiantes.

Se ha demostrado que la potenciación de los árboles da resultados de vanguardia en muchos puntos de referencia de clasificación estándar.

– XGBoost: Un sistema de potenciación de árboles escalable, 2016.

Es un conjunto de árboles de decisión algorítmicos donde los nuevos árboles arreglan los errores de los árboles que ya forman parte del modelo. Los árboles se añaden hasta que no se pueden hacer más mejoras en el modelo.

XGBoost proporciona una implementación altamente eficiente del algoritmo de aumento del gradiente estocástico y acceso a un conjunto de hiperparámetros de modelos diseñados para proporcionar control sobre el proceso de entrenamiento de los modelos.

El factor más importante del éxito del XGBoost es su escalabilidad en todos los escenarios. El sistema funciona más de diez veces más rápido que las soluciones populares existentes en una sola máquina y escala a miles de millones de ejemplos en configuraciones distribuidas o de memoria limitada.

– XGBoost: Un sistema de potenciación de árboles escalable, 2016.

XGBoost está diseñado para la clasificación y la regresión en conjuntos de datos tabulares, aunque puede utilizarse para la previsión de series temporales.

Para más información sobre el aumento del gradiente y la implementación de XGBoost, ver el tutorial:

Primero, la biblioteca XGBoost debe ser instalada.

Puedes instalarlo usando pip, como sigue:

Una vez instalado, puede confirmar que se instaló con éxito y que está utilizando una versión moderna ejecutando el siguiente código:

Al ejecutar el código, debería ver el siguiente número de versión o superior.

Aunque la biblioteca XGBoost tiene su propio API en Python, podemos utilizar los modelos de XGBoost con el API scikit-learn a través de la clase envolvente XGBRegressor.

Una instancia del modelo puede ser instanciada y utilizada como cualquier otra clase de aprendizaje científico para la evaluación del modelo. Por ejemplo:

Ahora que estamos familiarizados con el XGBoost, veamos cómo podemos preparar un conjunto de datos de series temporales para el aprendizaje supervisado.

Preparación de datos de series de tiempo

Los datos de las series de tiempo pueden formularse como aprendizaje supervisado.

Dada una secuencia de números para un conjunto de datos de series temporales, podemos reestructurar los datos para que parezcan un problema de aprendizaje supervisado. Podemos hacer esto utilizando los pasos de tiempo anteriores como variables de entrada y utilizar el siguiente paso de tiempo como la variable de salida.

Concretemos esto con un ejemplo. Imaginemos que tenemos una serie temporal como la siguiente:

Podemos reestructurar este conjunto de datos de series temporales como un problema de aprendizaje supervisado utilizando el valor en el paso de tiempo anterior para predecir el valor en el siguiente paso de tiempo.

Reorganizando el conjunto de datos de las series de tiempo de esta manera, los datos se verían de la siguiente manera:

Obsérvese que la columna de tiempo se ha eliminado y que algunas filas de datos son inutilizables para entrenar un modelo, como la primera y la última.

Esta representación se llama ventana corrediza, ya que la ventana de entradas y salidas esperadas se desplaza hacia adelante a través del tiempo para crear nuevas «muestras» para un modelo de aprendizaje supervisado.

Para más información sobre el enfoque de la ventana corrediza para la preparación de datos de previsión de series temporales, véase el tutorial:

Podemos usar la función shift() en Pandas para crear automáticamente nuevos encuadres de problemas de series temporales dada la longitud deseada de las secuencias de entrada y salida.

Esta sería una herramienta útil ya que nos permitiría explorar diferentes encuadres de un problema de series temporales con algoritmos de aprendizaje de máquinas para ver cuál podría resultar en modelos de mejor rendimiento.

La función que se indica a continuación tomará una serie temporal como una serie temporal de la matriz NumPy con una o más columnas y la transformará en un problema de aprendizaje supervisado con el número especificado de entradas y salidas.

Podemos usar esta función para preparar un conjunto de datos de series temporales para XGBoost.

Para más información sobre el desarrollo paso a paso de esta función, véase el tutorial:

Una vez preparado el conjunto de datos, debemos ser cuidadosos en la forma en que se utiliza para ajustar y evaluar un modelo.

Por ejemplo, no sería válido ajustar el modelo con datos del futuro y hacer que prediga el pasado. El modelo debe entrenarse en el pasado y predecir el futuro.

Esto significa que los métodos que aleatorizan el conjunto de datos durante la evaluación, como la validación cruzada del pliegue k, no pueden utilizarse. En su lugar, debemos utilizar una técnica llamada validación a pie de página.

En la validación del avance, el conjunto de datos se divide primero en trenes y conjuntos de pruebas seleccionando un punto de corte, por ejemplo, todos los datos excepto los últimos 12 meses se utilizan para el entrenamiento y los últimos 12 meses para las pruebas.

Si estamos interesados en hacer un pronóstico de un paso, por ejemplo un mes, entonces podemos evaluar el modelo entrenando en el conjunto de datos de entrenamiento y prediciendo el primer paso en el conjunto de datos de la prueba. Podemos entonces añadir la observación real del conjunto de pruebas al conjunto de datos de entrenamiento, reajustar el modelo, y luego hacer que el modelo prediga el segundo paso en el conjunto de datos de la prueba.

La repetición de este proceso para todo el conjunto de datos de la prueba dará una predicción de un paso para todo el conjunto de datos de la prueba a partir de la cual se puede calcular una medida de error para evaluar la habilidad del modelo.

Para más información sobre la validación de la marcha adelante, vea el tutorial:

La función que se indica a continuación realiza la validación de la marcha adelante.

Se necesita toda la versión de aprendizaje supervisado del conjunto de datos de la serie de tiempo y el número de filas para usar como argumento el conjunto de pruebas.

Luego pasa por el conjunto de pruebas, llamando al xgboost_forecast() para hacer un pronóstico de un solo paso. Se calcula una medida de error y se devuelven los detalles para su análisis.

El train_test_split() se llama a la función de dividir el conjunto de datos en trenes y conjuntos de pruebas.

Podemos definir esta función a continuación.

Podemos usar el XGBRegressor para hacer un pronóstico de un paso.

El xgboost_forecast() La función que se indica a continuación implementa esto, tomando el conjunto de datos de entrenamiento y la fila de entrada de prueba como entrada, ajustando un modelo y haciendo una predicción de un paso.

Ahora que sabemos cómo preparar datos de series temporales para predecir y evaluar un modelo XGBoost, a continuación podemos ver cómo usar XGBoost en un conjunto de datos reales.

XGBoost para la previsión de series temporales

En esta sección, exploraremos cómo utilizar el XGBoost para la previsión de series temporales.

Utilizaremos un conjunto de datos estándar de series temporales univariadas con la intención de utilizar el modelo para hacer un pronóstico de un solo paso.

Puede utilizar el código de esta sección como punto de partida de su propio proyecto y adaptarlo fácilmente para entradas multivariadas, previsiones multivariadas y previsiones de varios pasos.

Usaremos el conjunto de datos de los nacimientos femeninos diarios, es decir, los nacimientos mensuales a lo largo de tres años.

Puede descargar el conjunto de datos desde aquí, colóquelo en su directorio de trabajo actual con el nombre de archivo «daily-total-female-births.csv“.

Las primeras líneas del conjunto de datos se ven como sigue:

Primero, carguemos y tracemos el conjunto de datos.

El ejemplo completo figura a continuación.

Ejecutando el ejemplo se crea un gráfico de líneas del conjunto de datos.

Podemos ver que no hay una tendencia obvia o estacionalidad.

Un modelo de persistencia puede lograr un MAE de alrededor de 6,7 nacimientos al predecir los últimos 12 meses. Esto proporciona una línea de base en el rendimiento por encima de la cual un modelo puede considerarse hábil.

A continuación, podemos evaluar el modelo XGBoost en el conjunto de datos al hacer previsiones de un solo paso para los últimos 12 meses de datos.

Usaremos sólo los tres pasos de tiempo anteriores como entrada al modelo y a los hiperparámetros del modelo por defecto, excepto que cambiaremos la pérdida por ‘reg:squarederror(para evitar un mensaje de advertencia) y utilizar un conjunto de 1000 árboles (para evitar el subaprendizaje).

El ejemplo completo figura a continuación.

La ejecución del ejemplo reporta los valores esperados y pronosticados para cada paso del conjunto de pruebas, luego el MAE para todos los valores pronosticados.

Podemos ver que el modelo funciona mejor que un modelo de persistencia, logrando un MAE de unos 5,3 nacimientos, en comparación con 6,7 nacimientos.

¿Puedes hacerlo mejor?
Puedes probar diferentes hiperparámetros XGBoost y números de pasos de tiempo como entrada para ver si puedes conseguir un mejor rendimiento. Comparte tus resultados en los siguientes comentarios.

Se crea una gráfica lineal que compara la serie de valores esperados y los valores predichos para los últimos 12 meses del conjunto de datos.

Esto da una interpretación geométrica de lo bien que el modelo funcionó en el conjunto de pruebas.

Una vez elegida una configuración final del modelo XGBoost, se puede finalizar el modelo y utilizarlo para hacer una predicción sobre nuevos datos.

Esto se llama pronóstico fuera de muestra…por ejemplo, predecir más allá del conjunto de datos de entrenamiento. Esto es idéntico a hacer una predicción durante la evaluación del modelo: ya que siempre queremos evaluar un modelo usando el mismo procedimiento que esperamos usar cuando el modelo se usa para hacer una predicción sobre nuevos datos.

El ejemplo que se presenta a continuación demuestra el ajuste de un modelo final de XGBoost en todos los datos disponibles y la realización de una predicción de un paso más allá del final del conjunto de datos.

Ejecutando el ejemplo se ajusta un modelo XGBoost en todos los datos disponibles.

Se prepara una nueva fila de entradas utilizando los últimos tres meses de datos conocidos y se predice el siguiente mes después del final del conjunto de datos.