Manipulação de Pensamento: Pensamento Externo Pode Ser Eficiente para Modelos de Raciocínio em Grande Escala

Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models

April 18, 2025

Autores: Yule Liu, Jingyi Zheng, Zhen Sun, Zifan Peng, Wenhan Dong, Zeyang Sha, Shiwen Cui, Weiqiang Wang, Xinlei He

cs.AI

Resumo

Avanços recentes em modelos de raciocínio em larga escala (LRMs, na sigla em inglês) têm demonstrado a eficácia de escalar a computação em tempo de teste para aprimorar as capacidades de raciocínio em múltiplas tarefas. No entanto, os LRMs geralmente sofrem com problemas de "sobrepensamento", onde os modelos geram etapas de raciocínio significativamente redundantes enquanto trazem ganhos limitados de desempenho. Trabalhos existentes dependem de ajuste fino para mitigar o sobrepensamento, o que requer dados adicionais, configurações de treinamento não convencionais, riscos de desalinhamento de segurança e generalização precária. Por meio de análises empíricas, revelamos uma característica importante do comportamento dos LRMs: a inserção de cadeias de pensamento (CoTs, na sigla em inglês) externas geradas por modelos menores entre os tokens de pensamento (<think> e </think>) pode manipular efetivamente o modelo para gerar menos pensamentos. Com base nessas percepções, propomos um pipeline simples, porém eficiente, chamado ThoughtMani, para permitir que os LRMs ignorem etapas intermediárias desnecessárias e reduzam significativamente os custos computacionais. Realizamos extensos experimentos para validar a utilidade e eficiência do ThoughtMani. Por exemplo, ao ser aplicado ao QwQ-32B no conjunto de dados LiveBench/Code, o ThoughtMani mantém o desempenho original e reduz a contagem de tokens de saída em aproximadamente 30%, com pouca sobrecarga do gerador de CoT. Além disso, descobrimos que o ThoughtMani melhora o alinhamento de segurança em média 10%. Como os fornecedores de modelos geralmente servem modelos de diferentes tamanhos simultaneamente, o ThoughtMani oferece uma maneira eficaz de construir LRMs mais eficientes e acessíveis para aplicações do mundo real.

English

Recent advancements in large reasoning models (LRMs) have demonstrated the effectiveness of scaling test-time computation to enhance reasoning capabilities in multiple tasks. However, LRMs typically suffer from "overthinking" problems, where models generate significantly redundant reasoning steps while bringing limited performance gains. Existing work relies on fine-tuning to mitigate overthinking, which requires additional data, unconventional training setups, risky safety misalignment, and poor generalization. Through empirical analysis, we reveal an important characteristic of LRM behaviors that placing external CoTs generated by smaller models between the thinking token (<think> and </think>) can effectively manipulate the model to generate fewer thoughts. Building on these insights, we propose a simple yet efficient pipeline, ThoughtMani, to enable LRMs to bypass unnecessary intermediate steps and reduce computational costs significantly. We conduct extensive experiments to validate the utility and efficiency of ThoughtMani. For instance, when applied to QwQ-32B on the LiveBench/Code dataset, ThoughtMani keeps the original performance and reduces output token counts by approximately 30%, with little overhead from the CoT generator. Furthermore, we find that ThoughtMani enhances safety alignment by an average of 10%. Since model vendors typically serve models of different sizes simultaneously, ThoughtMani provides an effective way to construct more efficient and accessible LRMs for real-world applications.