CAT: Causal Attention Tuning voor het Injecteren van Fijnmazige Causale Kennis in Grote Taalmodellen

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

September 1, 2025

Auteurs: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben opmerkelijke successen behaald in diverse domeinen. Een fundamentele vraag blijft echter: Kunnen LLM's effectief causale kennis benutten voor voorspelling en generatie? Door empirische studies ontdekken we dat LLM's die direct getraind zijn op grootschalige data vaak valse correlaties vastleggen in plaats van echte causale relaties, wat leidt tot suboptimale prestaties, vooral in out-of-distribution (OOD) scenario's. Om deze uitdaging aan te pakken, stellen we Causal Attention Tuning (CAT) voor, een nieuwe aanpak die fijnmazige causale kennis injecteert in het aandachtmechanisme. We introduceren een geautomatiseerde pijplijn die gebruikmaakt van menselijke voorkennis om automatisch token-niveau causale signalen te genereren en introduceren het Re-Attention mechanisme om de training te begeleiden, waardoor het model zich kan focussen op causale structuren terwijl ruis en biases in aandachtsscores worden gemitigeerd. Experimentele resultaten op onze voorgestelde Spurious Token Game (STG) benchmark en meerdere downstream taken tonen aan dat onze aanpak effectief causale kennis benut voor voorspelling en robuust blijft in OOD scenario's. Implementatiedetails zijn te vinden op https://github.com/Kairong-Han/CAT.

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.