CAT: Ajuste de Atención Causal para la Inyección de Conocimiento Causal de Grano Fino en Modelos de Lenguaje de Gran Escala

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

September 1, 2025

Autores: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han logrado un éxito notable en diversos dominios. Sin embargo, persiste una pregunta fundamental: ¿Pueden los LLMs utilizar efectivamente el conocimiento causal para la predicción y la generación? A través de estudios empíricos, encontramos que los LLMs entrenados directamente con datos a gran escala a menudo capturan correlaciones espurias en lugar de relaciones causales verdaderas, lo que conduce a un rendimiento subóptimo, especialmente en escenarios fuera de distribución (OOD, por sus siglas en inglés). Para abordar este desafío, proponemos el Ajuste de Atención Causal (CAT, por sus siglas en inglés), un enfoque novedoso que inyecta conocimiento causal de grano fino en el mecanismo de atención. Proponemos una canalización automatizada que aprovecha los conocimientos previos humanos para generar automáticamente señales causales a nivel de token e introducimos el mecanismo de Re-Atención para guiar el entrenamiento, ayudando al modelo a enfocarse en estructuras causales mientras mitiga el ruido y los sesgos en las puntuaciones de atención. Los resultados experimentales en nuestro punto de referencia propuesto, el Juego de Tokens Espurios (STG, por sus siglas en inglés), y en múltiples tareas posteriores demuestran que nuestro enfoque aprovecha efectivamente el conocimiento causal para la predicción y se mantiene robusto en escenarios OOD. Los detalles de implementación se pueden encontrar en https://github.com/Kairong-Han/CAT.

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.