CAT: Настройка причинного внимания для внедрения детализированных причинных знаний в крупные языковые модели

CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models

September 1, 2025

Авторы: Kairong Han, Wenshuo Zhao, Ziyu Zhao, JunJian Ye, Lujia Pan, Kun Kuang

cs.AI

Аннотация

Крупные языковые модели (LLM) достигли значительных успехов в различных областях. Однако остается фундаментальный вопрос: способны ли LLM эффективно использовать причинно-следственные знания для прогнозирования и генерации? Эмпирические исследования показывают, что LLM, обученные непосредственно на больших объемах данных, часто улавливают ложные корреляции, а не истинные причинно-следственные связи, что приводит к неоптимальной производительности, особенно в сценариях вне распределения (OOD). Для решения этой проблемы мы предлагаем метод Causal Attention Tuning (CAT) — новый подход, который внедряет детализированные причинно-следственные знания в механизм внимания. Мы разработали автоматизированный конвейер, который использует человеческие априорные знания для автоматической генерации токен-уровневых причинно-следственных сигналов, а также вводим механизм Re-Attention для управления обучением, помогая модели сосредоточиться на причинных структурах и снижая уровень шума и смещений в оценках внимания. Результаты экспериментов на предложенном нами бенчмарке Spurious Token Game (STG) и нескольких последующих задачах демонстрируют, что наш подход эффективно использует причинно-следственные знания для прогнозирования и сохраняет устойчивость в OOD-сценариях. Детали реализации доступны по адресу https://github.com/Kairong-Han/CAT.

English

Large Language Models (LLMs) have achieved remarkable success across various domains. However, a fundamental question remains: Can LLMs effectively utilize causal knowledge for prediction and generation? Through empirical studies, we find that LLMs trained directly on large-scale data often capture spurious correlations rather than true causal relationships, leading to suboptimal performance, especially in out-of-distribution (OOD) scenarios. To address this challenge, we propose Causal Attention Tuning (CAT), a novel approach that injects fine-grained causal knowledge into the attention mechanism. We propose an automated pipeline that leverages human priors to automatically generate token-level causal signals and introduce the Re-Attention mechanism to guide training, helping the model focus on causal structures while mitigating noise and biases in attention scores. Experimental results on our proposed Spurious Token Game (STG) benchmark and multiple downstream tasks demonstrate that our approach effectively leverages causal knowledge for prediction and remains robust in OOD scenarios. Implementation details can be found at https://github.com/Kairong-Han/CAT.