Atoom van Gedachten voor Markov LLM Test-Tijd Schaling

Atom of Thoughts for Markov LLM Test-Time Scaling

February 17, 2025

Auteurs: Fengwei Teng, Zhaoyang Yu, Quan Shi, Jiayi Zhang, Chenglin Wu, Yuyu Luo

cs.AI

Samenvatting

Large Language Models (LLMs) bereiken superieure prestaties door schaling tijdens de training, en schaling tijdens de testfase verbetert hun capaciteiten verder door effectief redeneren tijdens de inferentie. Echter, naarmate de schaal van het redeneren toeneemt, lijden bestaande methoden voor schaling tijdens de testfase onder opgestapelde historische informatie, wat niet alleen rekenbronnen verspilt maar ook effectief redeneren verstoort. Om dit probleem aan te pakken, observeren we dat complexe redeneerprocessen vaak worden bereikt door een reeks onafhankelijke subvragen op te lossen, waarbij elke subvraag op zichzelf staand en verifieerbaar is. Deze subvragen zijn in wezen atomische vragen, die voornamelijk afhankelijk zijn van hun huidige staat in plaats van opgestapelde geschiedenis, vergelijkbaar met de geheugenloze overgangen in een Markov-proces. Op basis van deze observatie stellen we Atom of Thoughts (AoT) voor, waarbij elke staatsovergang in het redeneerproces bestaat uit het ontbinden van de huidige vraag in een op afhankelijkheden gebaseerde gerichte acyclische graaf en het samentrekken van de subvragen, waardoor een nieuwe atomische vraagstaat ontstaat. Dit iteratieve ontbindings- en samentrekkingsproces gaat door totdat direct oplosbare atomische vragen worden bereikt, waardoor natuurlijk Markov-overgangen tussen vraagstaten worden gerealiseerd. Bovendien kunnen deze atomische vragen naadloos worden geïntegreerd in bestaande methoden voor schaling tijdens de testfase, waardoor AoT kan dienen als een plug-in verbetering voor het verbeteren van redeneercapaciteiten. Experimenten op zes benchmarks tonen de effectiviteit van AoT aan, zowel als een op zichzelf staand framework als een plug-in verbetering. Opmerkelijk is dat op HotpotQA, wanneer toegepast op gpt-4o-mini, AoT een F1-score van 80,6% behaalt, wat o3-mini met 3,4% en DeepSeek-R1 met 10,6% overtreft. De code zal beschikbaar zijn op https://github.com/qixucen/atom.

English

Large Language Models (LLMs) achieve superior performance through training-time scaling, and test-time scaling further enhances their capabilities by conducting effective reasoning during inference. However, as the scale of reasoning increases, existing test-time scaling methods suffer from accumulated historical information, which not only wastes computational resources but also interferes with effective reasoning. To address this issue, we observe that complex reasoning progress is often achieved by solving a sequence of independent subquestions, each being self-contained and verifiable. These subquestions are essentially atomic questions, relying primarily on their current state rather than accumulated history, similar to the memoryless transitions in a Markov process. Based on this observation, we propose Atom of Thoughts (AoT), where each state transition in the reasoning process consists of decomposing the current question into a dependency-based directed acyclic graph and contracting its subquestions, forming a new atomic question state. This iterative decomposition-contraction process continues until reaching directly solvable atomic questions, naturally realizing Markov transitions between question states. Furthermore, these atomic questions can be seamlessly integrated into existing test-time scaling methods, enabling AoT to serve as a plug-in enhancement for improving reasoning capabilities. Experiments across six benchmarks demonstrate the effectiveness of AoT both as a standalone framework and a plug-in enhancement. Notably, on HotpotQA, when applied to gpt-4o-mini, AoT achieves an 80.6% F1 score, surpassing o3-mini by 3.4% and DeepSeek-R1 by 10.6%. The code will be available at https://github.com/qixucen/atom.