¿Pueden los modelos de lenguaje extenso inferir causalidad a partir de la correlación? | de Andreas Stöckl | junio de 2023

La inferencia causal es fundamental para la inteligencia humana, ya que nos permite comprender las relaciones de causa y efecto entre las variables. En los últimos años, CausalNLP ha ganado un interés significativo, con el objetivo de explorar si los modelos de lenguaje extenso (LLM) pueden inferir causalidad a partir de la correlación. Un artículo de investigación reciente presenta un conjunto de datos de referencia llamado CORR2CAUSE para evaluar las habilidades de inferencia causal pura de los LLM. Este artículo discutirá los beneficios y las limitaciones de los hallazgos presentados en el documento.

El conjunto de datos CORR2CAUSE:

Los investigadores seleccionaron un conjunto de datos a gran escala que comprende más de 400 000 muestras para probar las capacidades de inferencia causal de los LLM. El conjunto de datos consta de declaraciones correlacionales y las relaciones causales correspondientes entre variables. La construcción del conjunto de datos implicó la generación de modelos causales gráficos dirigidos (DGCM) para representar las relaciones causales entre las variables. Luego, los investigadores utilizaron conjuntos de separación d para identificar las clases de equivalencia de Markov (MEC) y determinar las correlaciones entre las variables.

Evaluación de LLM:

Diecisiete LLM existentes, incluidos modelos basados ​​en BERT, modelos basados ​​en GPT y modelos más eficientes como LLaMa y Alpaca, se evaluaron en el conjunto de datos CORR2CAUSE. El rendimiento de estos modelos se midió utilizando varias métricas, como puntuación F1, precisión, recuperación y exactitud. Los resultados revelaron una deficiencia clave de los LLM en términos de sus habilidades de inferencia causal. Los modelos lograron niveles de rendimiento cercanos al azar en la tarea, lo que indica su capacidad limitada para inferir causalidad a partir de la correlación.

Reutilización de LLM:

Para explorar el potencial de reutilizar los LLM para la inferencia causal, los investigadores ajustaron los modelos en el conjunto de datos CORR2CAUSE. Si bien este enfoque mostró alguna mejora en el rendimiento de los modelos, aún lucharon por generalizar más allá de los entornos de distribución. En otras palabras, los modelos solo podían realizar inferencias causales con precisión cuando los nombres de las variables y las expresiones textuales utilizadas en las consultas eran similares a las del conjunto de entrenamiento. Esta limitación destaca los desafíos para lograr la generalización en las habilidades de razonamiento de los LLM.

Análisis de robustez:

Para evaluar la solidez de los modelos entrenados, los investigadores realizaron dos pruebas de robustez: paráfrasis y refactorización de variables. Al perturbar el conjunto de prueba parafraseando las hipótesis e invirtiendo los nombres de las variables, los investigadores intentaron evaluar la capacidad de los modelos para manejar configuraciones fuera de distribución y su dependencia de correlaciones espurias. La comparación del rendimiento del modelo en los conjuntos de prueba perturbados con el conjunto de prueba original reveló su capacidad de generalización limitada.

Beneficios y limitaciones:

Los hallazgos presentados en este trabajo de investigación brindan información valiosa sobre las habilidades de inferencia causal de los LLM. Al presentar el conjunto de datos CORR2CAUSE, los investigadores establecieron un punto de referencia para evaluar las habilidades de razonamiento puro de los LLM. Este conjunto de datos puede guiar futuras investigaciones para mejorar las capacidades de inferencia causal y la generalización de los LLM.

Sin embargo, el estudio también tiene limitaciones. Se encontró que el rendimiento de los LLM en el conjunto de datos CORR2CAUSE era casi aleatorio, lo que indica la necesidad de más avances en esta área. El enfoque de ajuste fino mostró algunas mejoras, pero no abordó la capacidad de generalización limitada de los modelos. Las pruebas de solidez destacaron los desafíos en el manejo de configuraciones fuera de distribución y la dependencia de los modelos en correlaciones espurias.

Conclusión:

El trabajo de investigación discutido en este artículo arroja luz sobre la capacidad de los grandes modelos de lenguaje para inferir causalidad a partir de la correlación. La introducción del conjunto de datos CORR2CAUSE proporciona un recurso valioso para evaluar las habilidades de inferencia causal pura de los LLM. Los hallazgos revelan las limitaciones de los LLM existentes en este dominio, lo que enfatiza la necesidad de futuras investigaciones para mejorar sus habilidades de razonamiento y generalización. Al abordar estas limitaciones, los investigadores pueden allanar el camino para modelos de lenguaje grande más robustos y confiables capaces de comprender e inferir relaciones causales en tareas de procesamiento de lenguaje natural.

Papel: https://arxiv.org/pdf/2306.05836.pdf