Манипуляция мыслями: Внешние мысли могут быть эффективны для крупных моделей рассуждений.

Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models

April 18, 2025

Авторы: Yule Liu, Jingyi Zheng, Zhen Sun, Zifan Peng, Wenhan Dong, Zeyang Sha, Shiwen Cui, Weiqiang Wang, Xinlei He

cs.AI

Аннотация

Последние достижения в области крупных моделей рассуждений (LRM) продемонстрировали эффективность масштабирования вычислений во время тестирования для улучшения способностей к рассуждению в различных задачах. Однако LRM обычно страдают от проблемы "избыточного мышления", когда модели генерируют значительно избыточные шаги рассуждений, принося при этом ограниченный прирост производительности. Существующие подходы полагаются на тонкую настройку для смягчения этой проблемы, что требует дополнительных данных, нестандартных настроек обучения, рисков нарушения безопасности и плохой обобщаемости. Благодаря эмпирическому анализу мы выявили важную характеристику поведения LRM: размещение внешних цепочек рассуждений (CoT), сгенерированных меньшими моделями, между токенами мышления (<think> и </think>), позволяет эффективно управлять моделью для генерации меньшего количества мыслей. На основе этих инсайтов мы предлагаем простой, но эффективный подход, ThoughtMani, который позволяет LRM обходить ненужные промежуточные шаги и значительно снижать вычислительные затраты. Мы провели обширные эксперименты, чтобы подтвердить полезность и эффективность ThoughtMani. Например, при применении к модели QwQ-32B на наборе данных LiveBench/Code, ThoughtMani сохраняет исходную производительность и сокращает количество выходных токенов примерно на 30%, с минимальными накладными расходами от генератора CoT. Кроме того, мы обнаружили, что ThoughtMani улучшает соответствие требованиям безопасности в среднем на 10%. Поскольку поставщики моделей обычно обслуживают модели разных размеров одновременно, ThoughtMani предоставляет эффективный способ создания более производительных и доступных LRM для реальных приложений.

English

Recent advancements in large reasoning models (LRMs) have demonstrated the effectiveness of scaling test-time computation to enhance reasoning capabilities in multiple tasks. However, LRMs typically suffer from "overthinking" problems, where models generate significantly redundant reasoning steps while bringing limited performance gains. Existing work relies on fine-tuning to mitigate overthinking, which requires additional data, unconventional training setups, risky safety misalignment, and poor generalization. Through empirical analysis, we reveal an important characteristic of LRM behaviors that placing external CoTs generated by smaller models between the thinking token (<think> and </think>) can effectively manipulate the model to generate fewer thoughts. Building on these insights, we propose a simple yet efficient pipeline, ThoughtMani, to enable LRMs to bypass unnecessary intermediate steps and reduce computational costs significantly. We conduct extensive experiments to validate the utility and efficiency of ThoughtMani. For instance, when applied to QwQ-32B on the LiveBench/Code dataset, ThoughtMani keeps the original performance and reduces output token counts by approximately 30%, with little overhead from the CoT generator. Furthermore, we find that ThoughtMani enhances safety alignment by an average of 10%. Since model vendors typically serve models of different sizes simultaneously, ThoughtMani provides an effective way to construct more efficient and accessible LRMs for real-world applications.