Pensamento Reverso Torna LLMs em Raciocinadores Mais Fortes

Reverse Thinking Makes LLMs Stronger Reasoners

November 29, 2024

Autores: Justin Chih-Yao Chen, Zifeng Wang, Hamid Palangi, Rujun Han, Sayna Ebrahimi, Long Le, Vincent Perot, Swaroop Mishra, Mohit Bansal, Chen-Yu Lee, Tomas Pfister

cs.AI

Resumo

O pensamento reverso desempenha um papel crucial no raciocínio humano. Os humanos podem raciocinar não apenas de um problema para uma solução, mas também ao contrário, ou seja, começar a partir da solução e raciocinar em direção ao problema. Isso frequentemente melhora o desempenho geral do raciocínio, pois permite verificações de consistência entre seu pensamento direto e reverso. Para capacitar Modelos de Linguagem Grandes (LLMs) a realizar o pensamento reverso, introduzimos o Pensamento Aprimorado Reverso (RevThink), um framework composto por aumento de dados e objetivos de aprendizagem. No RevThink, aumentamos o conjunto de dados coletando raciocínio direto-reverso estruturado de um modelo professor, composto por: (1) a pergunta original, (2) raciocínio direto, (3) pergunta reversa e (4) raciocínio reverso. Em seguida, empregamos três objetivos para treinar um modelo aluno menor de forma de aprendizado multi-tarefa: (a) gerar raciocínio direto a partir de uma pergunta, (b) gerar uma pergunta reversa a partir de uma pergunta e (c) gerar raciocínio reverso a partir da pergunta reversa. Experimentos em 12 conjuntos de dados abrangendo raciocínio de senso comum, matemática e lógica mostram uma melhoria média de 13,53% em relação ao desempenho zero-shot do modelo aluno e uma melhoria de 6,84% em relação às melhores bases de destilação de conhecimento. Além disso, nosso método demonstra eficiência de amostragem - usando apenas 10% do raciocínio direto correto dos dados de treinamento, supera um método padrão de ajuste fino treinado com 10 vezes mais raciocínio direto. O RevThink também exibe forte generalização para conjuntos de dados não vistos fora da distribuição.

English

Reverse thinking plays a crucial role in human reasoning. Humans can reason not only from a problem to a solution but also in reverse, i.e., start from the solution and reason towards the problem. This often enhances overall reasoning performance as it enables consistency checks between their forward and backward thinking. To enable Large Language Models (LLMs) to perform reverse thinking, we introduce Reverse-Enhanced Thinking (RevThink), a framework composed of data augmentation and learning objectives. In RevThink, we augment the dataset by collecting structured forward-backward reasoning from a teacher model, consisting of: (1) the original question, (2) forward reasoning, (3) backward question, and (4) backward reasoning. We then employ three objectives to train a smaller student model in a multi-task learning fashion: (a) generate forward reasoning from a question, (b) generate a backward question from a question, and (c) generate backward reasoning from the backward question. Experiments across 12 datasets covering commonsense, math, and logical reasoning show an average 13.53% improvement over the student model's zero-shot performance and a 6.84% improvement over the strongest knowledge distillation baselines. Moreover, our method demonstrates sample efficiency -- using only 10% of the correct forward reasoning from the training data, it outperforms a standard fine-tuning method trained on 10x more forward reasoning. RevThink also exhibits strong generalization to out-of-distribution held-out datasets.