CAT: Sintonizzazione dell'Attenzione Causale per l'Iniezione di Conoscenza Causale Fine-Grana nei Modelli Linguistici di Grande Dimensione

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

September 1, 2025

Autori: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang

cs.AI

Abstract

I Large Language Model (LLM) hanno ottenuto un successo notevole in vari ambiti. Tuttavia, rimane una domanda fondamentale: i LLM possono utilizzare efficacemente la conoscenza causale per la previsione e la generazione? Attraverso studi empirici, abbiamo riscontrato che i LLM addestrati direttamente su dati su larga scala spesso catturano correlazioni spurie piuttosto che vere relazioni causali, portando a prestazioni subottimali, specialmente in scenari fuori distribuzione (OOD). Per affrontare questa sfida, proponiamo il Causal Attention Tuning (CAT), un approccio innovativo che inietta conoscenza causale granulare nel meccanismo di attenzione. Proponiamo una pipeline automatizzata che sfrutta i priori umani per generare automaticamente segnali causali a livello di token e introduciamo il meccanismo di Re-Attention per guidare l'addestramento, aiutando il modello a concentrarsi sulle strutture causali mentre mitiga il rumore e i bias nei punteggi di attenzione. I risultati sperimentali sul nostro benchmark Spurious Token Game (STG) e su molteplici task downstream dimostrano che il nostro approccio sfrutta efficacemente la conoscenza causale per la previsione e rimane robusto in scenari OOD. I dettagli di implementazione sono disponibili all'indirizzo https://github.com/Kairong-Han/CAT.

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.