CAT: 세밀한 인과적 지식을 대규모 언어 모델에 주입하기 위한 인과적 주조정(Causal Attention Tuning)

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

September 1, 2025

저자: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang

cs.AI

초록

대규모 언어 모델(LLMs)은 다양한 분야에서 놀라운 성과를 거두었습니다. 그러나 근본적인 질문이 남아 있습니다: LLMs가 예측과 생성을 위해 인과적 지식을 효과적으로 활용할 수 있을까요? 실증 연구를 통해, 대규모 데이터에 직접 학습된 LLMs가 진정한 인과 관계보다는 허위 상관관계를 포착하는 경우가 많아, 특히 분포 외(OOD) 시나리오에서 최적의 성능을 내지 못한다는 것을 발견했습니다. 이 문제를 해결하기 위해, 우리는 세밀한 인과적 지식을 주의 메커니즘에 주입하는 새로운 접근법인 인과 주의 조정(Causal Attention Tuning, CAT)을 제안합니다. 우리는 인간의 사전 지식을 활용하여 토큰 수준의 인과 신호를 자동으로 생성하는 자동화된 파이프라인을 제안하고, 재주의(Re-Attention) 메커니즘을 도입하여 모델이 인과 구조에 집중하도록 유도함으로써 주의 점수에서의 노이즈와 편향을 완화합니다. 우리가 제안한 허위 토큰 게임(Spurious Token Game, STG) 벤치마크와 여러 다운스트림 작업에 대한 실험 결과는 우리의 접근법이 예측을 위해 인과적 지식을 효과적으로 활용하며 OOD 시나리오에서도 견고함을 유지한다는 것을 보여줍니다. 구현 세부 사항은 https://github.com/Kairong-Han/CAT에서 확인할 수 있습니다.

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.