CAT : Réglage de l'Attention Causale pour l'Injection de Connaissances Causales Granulaires dans les Grands Modèles de Langage

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

September 1, 2025

papers.authors: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang

cs.AI

papers.abstract

Les modèles de langage de grande envergure (LLMs) ont obtenu des succès remarquables dans divers domaines. Cependant, une question fondamentale demeure : les LLMs peuvent-ils exploiter efficacement les connaissances causales pour la prédiction et la génération ? À travers des études empiriques, nous constatons que les LLMs entraînés directement sur des données à grande échelle capturent souvent des corrélations fallacieuses plutôt que de véritables relations causales, ce qui entraîne des performances sous-optimales, en particulier dans des scénarios hors distribution (OOD). Pour relever ce défi, nous proposons le Causal Attention Tuning (CAT), une approche novatrice qui intègre des connaissances causales fines dans le mécanisme d'attention. Nous proposons un pipeline automatisé qui exploite les connaissances a priori humaines pour générer automatiquement des signaux causaux au niveau des tokens et introduisons le mécanisme de Re-Attention pour guider l'entraînement, aidant ainsi le modèle à se concentrer sur les structures causales tout en atténuant le bruit et les biais dans les scores d'attention. Les résultats expérimentaux sur notre benchmark Spurious Token Game (STG) et sur plusieurs tâches en aval démontrent que notre approche exploite efficacement les connaissances causales pour la prédiction et reste robuste dans les scénarios OOD. Les détails d'implémentation sont disponibles à l'adresse suivante : https://github.com/Kairong-Han/CAT.

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.