Atomo di Pensiero per il Ridimensionamento in Tempo di Test di LLM Markov

Atom of Thoughts for Markov LLM Test-Time Scaling

February 17, 2025

Autori: Fengwei Teng, Zhaoyang Yu, Quan Shi, Jiayi Zhang, Chenglin Wu, Yuyu Luo

cs.AI

Abstract

I Large Language Model (LLM) raggiungono prestazioni superiori attraverso il ridimensionamento durante l'addestramento, e il ridimensionamento al momento del test migliora ulteriormente le loro capacità permettendo un ragionamento efficace durante l'inferenza. Tuttavia, all'aumentare della scala del ragionamento, i metodi esistenti di ridimensionamento al momento del test soffrono di un accumulo di informazioni storiche, che non solo spreca risorse computazionali ma interferisce anche con un ragionamento efficace. Per affrontare questo problema, osserviamo che i progressi nel ragionamento complesso sono spesso ottenuti risolvendo una sequenza di sottodomande indipendenti, ciascuna autonoma e verificabile. Queste sottodomande sono essenzialmente domande atomiche, che dipendono principalmente dal loro stato attuale piuttosto che dalla storia accumulata, simili alle transizioni senza memoria in un processo di Markov. Sulla base di questa osservazione, proponiamo Atom of Thoughts (AoT), in cui ogni transizione di stato nel processo di ragionamento consiste nel scomporre la domanda corrente in un grafo aciclico diretto basato sulle dipendenze e nel contrarre le sue sottodomande, formando un nuovo stato di domanda atomica. Questo processo iterativo di scomposizione-contrazione continua fino a raggiungere domande atomiche direttamente risolvibili, realizzando naturalmente transizioni di Markov tra gli stati delle domande. Inoltre, queste domande atomiche possono essere integrate senza soluzione di continuità nei metodi esistenti di ridimensionamento al momento del test, permettendo ad AoT di fungere da miglioramento plug-in per migliorare le capacità di ragionamento. Esperimenti condotti su sei benchmark dimostrano l'efficacia di AoT sia come framework autonomo che come miglioramento plug-in. In particolare, su HotpotQA, quando applicato a gpt-4o-mini, AoT raggiunge un punteggio F1 dell'80,6%, superando o3-mini del 3,4% e DeepSeek-R1 del 10,6%. Il codice sarà disponibile all'indirizzo https://github.com/qixucen/atom.

English

Large Language Models (LLMs) achieve superior performance through training-time scaling, and test-time scaling further enhances their capabilities by conducting effective reasoning during inference. However, as the scale of reasoning increases, existing test-time scaling methods suffer from accumulated historical information, which not only wastes computational resources but also interferes with effective reasoning. To address this issue, we observe that complex reasoning progress is often achieved by solving a sequence of independent subquestions, each being self-contained and verifiable. These subquestions are essentially atomic questions, relying primarily on their current state rather than accumulated history, similar to the memoryless transitions in a Markov process. Based on this observation, we propose Atom of Thoughts (AoT), where each state transition in the reasoning process consists of decomposing the current question into a dependency-based directed acyclic graph and contracting its subquestions, forming a new atomic question state. This iterative decomposition-contraction process continues until reaching directly solvable atomic questions, naturally realizing Markov transitions between question states. Furthermore, these atomic questions can be seamlessly integrated into existing test-time scaling methods, enabling AoT to serve as a plug-in enhancement for improving reasoning capabilities. Experiments across six benchmarks demonstrate the effectiveness of AoT both as a standalone framework and a plug-in enhancement. Notably, on HotpotQA, when applied to gpt-4o-mini, AoT achieves an 80.6% F1 score, surpassing o3-mini by 3.4% and DeepSeek-R1 by 10.6%. The code will be available at https://github.com/qixucen/atom.