C^2DLM: Modelos de Linguagem Grande de Difusão Guiados por Conceitos Causais

Resumo

Os modelos de linguagem autorregressivos (AR) e os Modelos de Linguagem de Difusão (DLMs) constituem os dois paradigmas principais dos grandes modelos de linguagem. No entanto, ambos os paradigmas sofrem de capacidades de raciocínio insuficientes. O raciocínio humano inerentemente depende de conhecimento e pensamento causal, que se refletem na linguagem natural. Mas no paradigma AR, a linguagem é modelada como previsão do próximo token (uma ordem estritamente da esquerda para a direita, token por token), enquanto a própria linguagem natural exibe estruturas causais mais flexíveis. No paradigma DLM, o mecanismo de atenção é totalmente conectado, o que ignora completamente a ordem causal. Para preencher esta lacuna, propomos um **M**odelo de **L**inguagem de **D**ifusão **G**uiado por **C**onceitos **C**ausais (C²DLM). Partindo da atenção totalmente conectada do DLM, o C²DLM obtém primeiro um grafo causal a nível conceptual a partir do modelo professor e, em seguida, guia explicitamente a atenção para aprender relações causais entre conceitos. Ao focar-se nas relações causais e evitar interferências de subobjetivos difíceis envolvendo inversão causal, o C²DLM melhora 12% com cerca de 3,2 vezes de aceleração no treino na tarefa COT-OrderPerturb e alcança um ganho médio de 1,31% em seis tarefas de raciocínio subsequentes. Mais detalhes no repositório ~https://github.com/Kairong-Han/C-2-DLM{aqui}.

English

Autoregressive (AR) language models and Diffusion Language Models (DLMs) constitute the two principal paradigms of large language models. However, both paradigms suffer from insufficient reasoning capabilities. Human reasoning inherently relies on causal knowledge and thought, which are reflected in natural language. But in the AR paradigm, language is modeled as next token prediction (a strictly left-to-right, token-by-token order), whereas natural language itself exhibits more flexible causal structures. In the DLM paradigm, the attention mechanism is fully connected, which entirely disregards causal order. To fill this gap, we propose a \textbf{C}ausal \textbf{C}oncept-Guided \textbf{D}iffusion \textbf{L}anguage \textbf{M}odel (C^2DLM). Starting from DLM's fully connected attention, C^2DLM first obtains a concept-level causal graph from the teacher model, and then explicitly guides attention to learn causal relationships between concepts. By focusing on causal relationships and avoiding interference from difficult subgoals involving causal inversion, C^2DLM improves 12\% with about 3.2 times training speedup in the COT-OrderPerturb task, and achieves an average gain of 1.31\% across six downstream reasoning tasks. More details in the repository ~https://github.com/Kairong-Han/C-2-DLM{here}.

C^2DLM: Modelos de Linguagem Grande de Difusão Guiados por Conceitos Causais

C^2DLM: Causal Concept-Guided Diffusion Large Language Models

Resumo

Support