Atome de Pensées pour la Mise à l'Échelle en Temps de Test des Modèles de Langage Markoviens

Atom of Thoughts for Markov LLM Test-Time Scaling

February 17, 2025

Auteurs: Fengwei Teng, Zhaoyang Yu, Quan Shi, Jiayi Zhang, Chenglin Wu, Yuyu Luo

cs.AI

Résumé

Les grands modèles de langage (LLMs) atteignent des performances supérieures grâce à une mise à l'échelle lors de l'entraînement, et une mise à l'échelle au moment du test améliore encore leurs capacités en permettant un raisonnement efficace lors de l'inférence. Cependant, à mesure que l'échelle du raisonnement augmente, les méthodes existantes de mise à l'échelle au moment du test souffrent d'une accumulation d'informations historiques, ce qui non seulement gaspille des ressources computationnelles mais perturbe également un raisonnement efficace. Pour résoudre ce problème, nous observons que les progrès dans le raisonnement complexe sont souvent réalisés en résolvant une séquence de sous-questions indépendantes, chacune étant autonome et vérifiable. Ces sous-questions sont essentiellement des questions atomiques, reposant principalement sur leur état actuel plutôt que sur l'historique accumulé, similairement aux transitions sans mémoire dans un processus de Markov. Sur la base de cette observation, nous proposons Atom of Thoughts (AoT), où chaque transition d'état dans le processus de raisonnement consiste à décomposer la question actuelle en un graphe acyclique orienté basé sur les dépendances et à contracter ses sous-questions, formant ainsi un nouvel état de question atomique. Ce processus itératif de décomposition-contraction se poursuit jusqu'à atteindre des questions atomiques directement résolubles, réalisant naturellement des transitions de Markov entre les états de questions. De plus, ces questions atomiques peuvent être intégrées de manière transparente dans les méthodes existantes de mise à l'échelle au moment du test, permettant à AoT de servir d'amélioration plug-in pour améliorer les capacités de raisonnement. Les expériences sur six benchmarks démontrent l'efficacité d'AoT à la fois en tant que cadre autonome et en tant qu'amélioration plug-in. Notamment, sur HotpotQA, lorsqu'il est appliqué à gpt-4o-mini, AoT atteint un score F1 de 80,6%, surpassant o3-mini de 3,4% et DeepSeek-R1 de 10,6%. Le code sera disponible à l'adresse https://github.com/qixucen/atom.

English

Large Language Models (LLMs) achieve superior performance through training-time scaling, and test-time scaling further enhances their capabilities by conducting effective reasoning during inference. However, as the scale of reasoning increases, existing test-time scaling methods suffer from accumulated historical information, which not only wastes computational resources but also interferes with effective reasoning. To address this issue, we observe that complex reasoning progress is often achieved by solving a sequence of independent subquestions, each being self-contained and verifiable. These subquestions are essentially atomic questions, relying primarily on their current state rather than accumulated history, similar to the memoryless transitions in a Markov process. Based on this observation, we propose Atom of Thoughts (AoT), where each state transition in the reasoning process consists of decomposing the current question into a dependency-based directed acyclic graph and contracting its subquestions, forming a new atomic question state. This iterative decomposition-contraction process continues until reaching directly solvable atomic questions, naturally realizing Markov transitions between question states. Furthermore, these atomic questions can be seamlessly integrated into existing test-time scaling methods, enabling AoT to serve as a plug-in enhancement for improving reasoning capabilities. Experiments across six benchmarks demonstrate the effectiveness of AoT both as a standalone framework and a plug-in enhancement. Notably, on HotpotQA, when applied to gpt-4o-mini, AoT achieves an 80.6% F1 score, surpassing o3-mini by 3.4% and DeepSeek-R1 by 10.6%. The code will be available at https://github.com/qixucen/atom.