CAT: Ajuste de Atenção Causal para Injetar Conhecimento Causal de Alta Granularidade em Modelos de Linguagem de Grande Escala

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

September 1, 2025

Autores: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) alcançaram sucesso notável em diversos domínios. No entanto, uma questão fundamental permanece: Os LLMs podem utilizar efetivamente o conhecimento causal para previsão e geração? Por meio de estudos empíricos, descobrimos que os LLMs treinados diretamente em dados em grande escala frequentemente capturam correlações espúrias em vez de relações causais verdadeiras, resultando em desempenho subótimo, especialmente em cenários fora da distribuição (OOD). Para enfrentar esse desafio, propomos o Ajuste de Atenção Causal (CAT), uma abordagem inovadora que injeta conhecimento causal refinado no mecanismo de atenção. Propomos um pipeline automatizado que aproveita conhecimentos prévios humanos para gerar automaticamente sinais causais no nível de tokens e introduzimos o mecanismo de Re-Atenção para orientar o treinamento, ajudando o modelo a focar em estruturas causais enquanto mitiga ruídos e vieses nos escores de atenção. Resultados experimentais em nosso benchmark proposto, o Jogo de Tokens Espúrios (STG), e em múltiplas tarefas subsequentes demonstram que nossa abordagem utiliza efetivamente o conhecimento causal para previsão e permanece robusta em cenários OOD. Detalhes de implementação podem ser encontrados em https://github.com/Kairong-Han/CAT.

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.