CAT: Kausale Aufmerksamkeitsabstimmung zur Integration feinkörnigen kausalen Wissens in große Sprachmodelle

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

September 1, 2025

papers.authors: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben bemerkenswerte Erfolge in verschiedenen Bereichen erzielt. Dennoch bleibt eine grundlegende Frage bestehen: Können LLMs kausales Wissen effektiv für Vorhersagen und Generierung nutzen? Durch empirische Studien stellen wir fest, dass LLMs, die direkt auf großen Datensätzen trainiert werden, oft Scheinkorrelationen anstelle echter kausaler Zusammenhänge erfassen, was zu suboptimalen Leistungen führt, insbesondere in Out-of-Distribution (OOD)-Szenarien. Um diese Herausforderung zu bewältigen, schlagen wir Causal Attention Tuning (CAT) vor, einen neuartigen Ansatz, der feinkörniges kausales Wissen in den Aufmerksamkeitsmechanismus einfügt. Wir entwickeln eine automatisierte Pipeline, die menschliche Vorannahmen nutzt, um automatisch token-spezifische kausale Signale zu generieren, und führen den Re-Attention-Mechanismus ein, um das Training zu steuern. Dies hilft dem Modell, sich auf kausale Strukturen zu konzentrieren und gleichzeitig Rauschen und Verzerrungen in den Aufmerksamkeitswerten zu reduzieren. Experimentelle Ergebnisse auf unserem vorgeschlagenen Spurious Token Game (STG)-Benchmark und mehreren Downstream-Aufgaben zeigen, dass unser Ansatz kausales Wissen effektiv für Vorhersagen nutzt und in OOD-Szenarien robust bleibt. Implementierungsdetails finden Sie unter https://github.com/Kairong-Han/CAT.

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.