CAT: 大規模言語モデルへの微細な因果知識注入のための因果的注意調整

要旨

大規模言語モデル（LLMs）は、さまざまな領域で顕著な成功を収めている。しかし、根本的な疑問が残されている：LLMsは因果知識を効果的に活用して予測や生成を行うことができるのか？実証研究を通じて、大規模データを直接学習したLLMsは、真の因果関係ではなく、むしろ疑似相関を捉えることが多く、特に分布外（OOD）シナリオにおいて性能が低下することが明らかとなった。この課題に対処するため、我々はCausal Attention Tuning（CAT）という新しいアプローチを提案する。これは、細粒度の因果知識をアテンションメカニズムに注入するものである。我々は、人間の事前知識を活用してトークンレベルの因果信号を自動生成する自動化パイプラインを提案し、Re-Attentionメカニズムを導入してトレーニングを導くことで、モデルが因果構造に焦点を当てつつ、アテンションスコアにおけるノイズやバイアスを軽減することを支援する。提案したSpurious Token Game（STG）ベンチマークおよび複数の下流タスクにおける実験結果は、本アプローチが因果知識を効果的に活用して予測を行い、OODシナリオにおいても頑健であることを示している。実装の詳細はhttps://github.com/Kairong-Han/CATで確認できる。

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.

CAT: 大規模言語モデルへの微細な因果知識注入のための因果的注意調整

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

要旨

Support