C^2DLM: Диффузионные большие языковые модели с причинно-смысловым управлением

Аннотация

Авторегрессионные (AR) языковые модели и Диффузионные языковые модели (DLM) представляют собой две основные парадигмы больших языковых моделей. Однако обе парадигмы страдают от недостаточных способностей к логическому выводу. Человеческое рассуждение по своей природе опирается на каузальные знания и мышление, что находит отражение в естественном языке. Но в AR-парадигме язык моделируется как предсказание следующего токена (строго слева направо, токен за токеном), тогда как сам естественный язык демонстрирует более гибкие причинно-следственные структуры. В DLM-парадигме механизм внимания является полностью связанным, что полностью игнорирует причинный порядок. Чтобы заполнить этот пробел, мы предлагаем **К**аузальную **К**онцептуально-**У**правляемую **Д**иффузионную **Я**зыковую **М**одель (C²DLM). Исходя из полностью связанного внимания DLM, C²DLM сначала получает причинно-следственный граф на уровне концептов от учительской модели, а затем явно направляет внимание на изучение причинно-следственных связей между концептами. Сосредоточившись на причинно-следственных связях и избегая вмешательства сложных подзадач, связанных с каузальной инверсией, C²DLM улучшает результат на 12% с ускорением обучения примерно в 3,2 раза в задаче COT-OrderPerturb и демонстрирует средний прирост в 1,31% на шести задачах логического вывода. Подробнее в репозитории ~https://github.com/Kairong-Han/C-2-DLM{здесь}.

English

Autoregressive (AR) language models and Diffusion Language Models (DLMs) constitute the two principal paradigms of large language models. However, both paradigms suffer from insufficient reasoning capabilities. Human reasoning inherently relies on causal knowledge and thought, which are reflected in natural language. But in the AR paradigm, language is modeled as next token prediction (a strictly left-to-right, token-by-token order), whereas natural language itself exhibits more flexible causal structures. In the DLM paradigm, the attention mechanism is fully connected, which entirely disregards causal order. To fill this gap, we propose a \textbf{C}ausal \textbf{C}oncept-Guided \textbf{D}iffusion \textbf{L}anguage \textbf{M}odel (C^2DLM). Starting from DLM's fully connected attention, C^2DLM first obtains a concept-level causal graph from the teacher model, and then explicitly guides attention to learn causal relationships between concepts. By focusing on causal relationships and avoiding interference from difficult subgoals involving causal inversion, C^2DLM improves 12\% with about 3.2 times training speedup in the COT-OrderPerturb task, and achieves an average gain of 1.31\% across six downstream reasoning tasks. More details in the repository ~https://github.com/Kairong-Han/C-2-DLM{here}.

C^2DLM: Диффузионные большие языковые модели с причинно-смысловым управлением

C^2DLM: Causal Concept-Guided Diffusion Large Language Models

Аннотация

Support