STATe-of-Thoughts：思考の木のための構造化アクションテンプレート

STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts

February 15, 2026

著者: Zachary Bamberger, Till R. Saenger, Gilad Morad, Ofra Amir, Brandon M. Stewart, Amir Feder

cs.AI

要旨

推論時計算（ITC）手法であるBest-of-NやTree-of-Thoughtsは、高品質かつ多様な出力候補を生成することを目的としているが、高温度サンプリングの使用は意味のある出力多様性の達成に往々にして失敗する。さらに、既存のITC手法は推論の実行方法に対する制御が限定的であり、結果として説明可能性が制約されている。本論文では、高水準の推論パターンを探索する解釈可能なITC手法であるSTATe-of-Thoughts（STATe）を提案する。STATeは確率的サンプリングを離散的で解釈可能なテキスト介入に置き換える：コントローラが高水準の推論選択を符号化するアクションを選択し、ジェネレータがそれらの選択に条件付けられた推論ステップを生成し、評価器が候補を採点して探索を導く。この構造化されたアプローチには3つの主な利点がある。第一に、アクション誘導型テキスト介入は温度ベースのサンプリングよりも大きな応答多様性を生み出す。第二に、議論生成におけるケーススタディでは、STATeの明示的なアクション列が出力品質を強く予測する解釈可能な特徴を捉えている。第三に、パフォーマンスとアクション選択の関連性を推定することで、有望でありながら未探索のアクション空間領域を特定し、生成を直接それらに向けて誘導できる。これらの結果を総合すると、STATeが高品質・多様・解釈可能なテキストを生成する実用的なフレームワークであることが立証される。本フレームワークはhttps://github.com/zbambergerNLP/state-of-thoughtsで公開されている。

English

Inference-Time-Compute (ITC) methods like Best-of-N and Tree-of-Thoughts are meant to produce output candidates that are both high-quality and diverse, but their use of high-temperature sampling often fails to achieve meaningful output diversity. Moreover, existing ITC methods offer limited control over how to perform reasoning, which in turn limits their explainability. We present STATe-of-Thoughts (STATe), an interpretable ITC method that searches over high-level reasoning patterns. STATe replaces stochastic sampling with discrete and interpretable textual interventions: a controller selects actions encoding high-level reasoning choices, a generator produces reasoning steps conditioned on those choices, and an evaluator scores candidates to guide search. This structured approach yields three main advantages. First, action-guided textual interventions produce greater response diversity than temperature-based sampling. Second, in a case study on argument generation, STATe's explicit action sequences capture interpretable features that are highly predictive of output quality. Third, estimating the association between performance and action choices allows us to identify promising yet unexplored regions of the action space and steer generation directly toward them. Together, these results establish STATe as a practical framework for generating high-quality, diverse, and interpretable text. Our framework is available at https://github.com/zbambergerNLP/state-of-thoughts.