Atom der Gedanken für Markov-LLM-Testzeit-Skalierung

Atom of Thoughts for Markov LLM Test-Time Scaling

February 17, 2025

Autoren: Fengwei Teng, Zhaoyang Yu, Quan Shi, Jiayi Zhang, Chenglin Wu, Yuyu Luo

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) erreichen überragende Leistungen durch Skalierung während des Trainings, und die Skalierung zur Testzeit verbessert ihre Fähigkeiten weiter, indem sie effektives Schlussfolgern während der Inferenz ermöglicht. Allerdings leiden bestehende Methoden zur Skalierung zur Testzeit mit zunehmendem Umfang des Schlussfolgerns unter akkumulierter historischer Information, was nicht nur Rechenressourcen verschwendet, sondern auch effektives Schlussfolgern behindert. Um dieses Problem zu lösen, beobachten wir, dass komplexe Fortschritte im Schlussfolgern oft durch die Lösung einer Abfolge unabhängiger Teilfragen erreicht werden, die jeweils in sich geschlossen und überprüfbar sind. Diese Teilfragen sind im Wesentlichen atomare Fragen, die hauptsächlich auf ihrem aktuellen Zustand und nicht auf akkumulierter Historie basieren, ähnlich den gedächtnislosen Übergängen in einem Markov-Prozess. Basierend auf dieser Beobachtung schlagen wir Atom of Thoughts (AoT) vor, bei dem jeder Zustandsübergang im Schlussfolgerungsprozess darin besteht, die aktuelle Frage in einen abhängigkeitsbasierten gerichteten azyklischen Graphen zu zerlegen und ihre Teilfragen zu kontrahieren, wodurch ein neuer atomarer Fragezustand entsteht. Dieser iterative Zerlegungs-Kontraktionsprozess setzt sich fort, bis direkt lösbare atomare Fragen erreicht sind, wodurch Markov-Übergänge zwischen Fragezuständen natürlich realisiert werden. Darüber hinaus können diese atomaren Fragen nahtlos in bestehende Methoden zur Skalierung zur Testzeit integriert werden, sodass AoT als Plug-in-Erweiterung zur Verbesserung der Schlussfolgerungsfähigkeiten dienen kann. Experimente über sechs Benchmarks demonstrieren die Wirksamkeit von AoT sowohl als eigenständiges Framework als auch als Plug-in-Erweiterung. Bemerkenswert ist, dass AoT auf HotpotQA, wenn es auf gpt-4o-mini angewendet wird, einen F1-Score von 80,6 % erreicht, was o3-mini um 3,4 % und DeepSeek-R1 um 10,6 % übertrifft. Der Code wird unter https://github.com/qixucen/atom verfügbar sein.

English

Large Language Models (LLMs) achieve superior performance through training-time scaling, and test-time scaling further enhances their capabilities by conducting effective reasoning during inference. However, as the scale of reasoning increases, existing test-time scaling methods suffer from accumulated historical information, which not only wastes computational resources but also interferes with effective reasoning. To address this issue, we observe that complex reasoning progress is often achieved by solving a sequence of independent subquestions, each being self-contained and verifiable. These subquestions are essentially atomic questions, relying primarily on their current state rather than accumulated history, similar to the memoryless transitions in a Markov process. Based on this observation, we propose Atom of Thoughts (AoT), where each state transition in the reasoning process consists of decomposing the current question into a dependency-based directed acyclic graph and contracting its subquestions, forming a new atomic question state. This iterative decomposition-contraction process continues until reaching directly solvable atomic questions, naturally realizing Markov transitions between question states. Furthermore, these atomic questions can be seamlessly integrated into existing test-time scaling methods, enabling AoT to serve as a plug-in enhancement for improving reasoning capabilities. Experiments across six benchmarks demonstrate the effectiveness of AoT both as a standalone framework and a plug-in enhancement. Notably, on HotpotQA, when applied to gpt-4o-mini, AoT achieves an 80.6% F1 score, surpassing o3-mini by 3.4% and DeepSeek-R1 by 10.6%. The code will be available at https://github.com/qixucen/atom.