Átomo de Pensamentos para Escalonamento em Tempo de Teste de LLM Markoviano

Atom of Thoughts for Markov LLM Test-Time Scaling

February 17, 2025

Autores: Fengwei Teng, Zhaoyang Yu, Quan Shi, Jiayi Zhang, Chenglin Wu, Yuyu Luo

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) alcançam desempenho superior por meio de escalonamento durante o treinamento, e o escalonamento durante o teste aprimora ainda mais suas capacidades ao realizar raciocínio eficaz durante a inferência. No entanto, à medida que a escala do raciocínio aumenta, os métodos existentes de escalonamento durante o teste sofrem com o acúmulo de informações históricas, o que não apenas desperdiça recursos computacionais, mas também interfere no raciocínio eficaz. Para resolver esse problema, observamos que o progresso do raciocínio complexo é frequentemente alcançado pela resolução de uma sequência de subquestões independentes, cada uma sendo autossuficiente e verificável. Essas subquestões são essencialmente questões atômicas, dependendo principalmente de seu estado atual em vez do histórico acumulado, semelhante às transições sem memória em um processo de Markov. Com base nessa observação, propomos o Atom of Thoughts (AoT), onde cada transição de estado no processo de raciocínio consiste em decompor a questão atual em um grafo acíclico direcionado baseado em dependências e contrair suas subquestões, formando um novo estado de questão atômica. Esse processo iterativo de decomposição-contração continua até que se alcancem questões atômicas diretamente solucionáveis, realizando naturalmente transições de Markov entre estados de questões. Além disso, essas questões atômicas podem ser integradas de forma contínua aos métodos existentes de escalonamento durante o teste, permitindo que o AoT funcione como um aprimoramento plug-in para melhorar as capacidades de raciocínio. Experimentos em seis benchmarks demonstram a eficácia do AoT tanto como um framework independente quanto como um aprimoramento plug-in. Notavelmente, no HotpotQA, quando aplicado ao gpt-4o-mini, o AoT alcança um F1 score de 80,6%, superando o o3-mini em 3,4% e o DeepSeek-R1 em 10,6%. O código estará disponível em https://github.com/qixucen/atom.

English

Large Language Models (LLMs) achieve superior performance through training-time scaling, and test-time scaling further enhances their capabilities by conducting effective reasoning during inference. However, as the scale of reasoning increases, existing test-time scaling methods suffer from accumulated historical information, which not only wastes computational resources but also interferes with effective reasoning. To address this issue, we observe that complex reasoning progress is often achieved by solving a sequence of independent subquestions, each being self-contained and verifiable. These subquestions are essentially atomic questions, relying primarily on their current state rather than accumulated history, similar to the memoryless transitions in a Markov process. Based on this observation, we propose Atom of Thoughts (AoT), where each state transition in the reasoning process consists of decomposing the current question into a dependency-based directed acyclic graph and contracting its subquestions, forming a new atomic question state. This iterative decomposition-contraction process continues until reaching directly solvable atomic questions, naturally realizing Markov transitions between question states. Furthermore, these atomic questions can be seamlessly integrated into existing test-time scaling methods, enabling AoT to serve as a plug-in enhancement for improving reasoning capabilities. Experiments across six benchmarks demonstrate the effectiveness of AoT both as a standalone framework and a plug-in enhancement. Notably, on HotpotQA, when applied to gpt-4o-mini, AoT achieves an 80.6% F1 score, surpassing o3-mini by 3.4% and DeepSeek-R1 by 10.6%. The code will be available at https://github.com/qixucen/atom.