Атом Мыслей для масштабирования марковских языковых моделей во время тестирования

Atom of Thoughts for Markov LLM Test-Time Scaling

February 17, 2025

Авторы: Fengwei Teng, Zhaoyang Yu, Quan Shi, Jiayi Zhang, Chenglin Wu, Yuyu Luo

cs.AI

Аннотация

Крупные языковые модели (LLM) достигают превосходной производительности за счет масштабирования на этапе обучения, а масштабирование на этапе тестирования дополнительно усиливает их возможности, обеспечивая эффективное рассуждение во время вывода. Однако с увеличением масштаба рассуждений существующие методы масштабирования на этапе тестирования сталкиваются с проблемой накопления исторической информации, что не только приводит к неэффективному использованию вычислительных ресурсов, но и мешает эффективному рассуждению. Для решения этой проблемы мы отмечаем, что сложный процесс рассуждения часто достигается путем решения последовательности независимых подвопросов, каждый из которых является самодостаточным и проверяемым. Эти подвопросы по сути представляют собой атомарные вопросы, которые в основном зависят от их текущего состояния, а не от накопленной истории, что аналогично переходам без памяти в марковском процессе. На основе этого наблюдения мы предлагаем подход "Атом Мысли" (Atom of Thoughts, AoT), где каждый переход состояния в процессе рассуждения заключается в разложении текущего вопроса на ориентированный ациклический граф, основанный на зависимостях, и сжатии его подвопросов, формируя новое атомарное состояние вопроса. Этот итеративный процесс разложения-сжатия продолжается до достижения непосредственно решаемых атомарных вопросов, естественным образом реализуя марковские переходы между состояниями вопросов. Более того, эти атомарные вопросы могут быть легко интегрированы в существующие методы масштабирования на этапе тестирования, что позволяет AoT служить в качестве подключаемого улучшения для повышения способностей к рассуждению. Эксперименты на шести бенчмарках демонстрируют эффективность AoT как в качестве самостоятельного фреймворка, так и в качестве подключаемого улучшения. В частности, на HotpotQA, при применении к gpt-4o-mini, AoT достигает показателя F1 в 80,6%, превосходя o3-mini на 3,4% и DeepSeek-R1 на 10,6%. Код будет доступен по адресу https://github.com/qixucen/atom.

English

Large Language Models (LLMs) achieve superior performance through training-time scaling, and test-time scaling further enhances their capabilities by conducting effective reasoning during inference. However, as the scale of reasoning increases, existing test-time scaling methods suffer from accumulated historical information, which not only wastes computational resources but also interferes with effective reasoning. To address this issue, we observe that complex reasoning progress is often achieved by solving a sequence of independent subquestions, each being self-contained and verifiable. These subquestions are essentially atomic questions, relying primarily on their current state rather than accumulated history, similar to the memoryless transitions in a Markov process. Based on this observation, we propose Atom of Thoughts (AoT), where each state transition in the reasoning process consists of decomposing the current question into a dependency-based directed acyclic graph and contracting its subquestions, forming a new atomic question state. This iterative decomposition-contraction process continues until reaching directly solvable atomic questions, naturally realizing Markov transitions between question states. Furthermore, these atomic questions can be seamlessly integrated into existing test-time scaling methods, enabling AoT to serve as a plug-in enhancement for improving reasoning capabilities. Experiments across six benchmarks demonstrate the effectiveness of AoT both as a standalone framework and a plug-in enhancement. Notably, on HotpotQA, when applied to gpt-4o-mini, AoT achieves an 80.6% F1 score, surpassing o3-mini by 3.4% and DeepSeek-R1 by 10.6%. The code will be available at https://github.com/qixucen/atom.