STATe-of-Thoughts : Modèles d'Action Structurés pour l'Arbre des Pensées

papers.abstract

Les méthodes de calcul au moment de l'inférence (ITC) comme Best-of-N et Tree-of-Thoughts visent à produire des candidats de sortie à la fois de haute qualité et diversifiés, mais leur utilisation de l'échantillonnage à haute température échoue souvent à atteindre une diversité de sortie significative. De plus, les méthodes ITC existantes offrent un contrôle limité sur la manière d'effectuer le raisonnement, ce qui limite à son tour leur explicabilité. Nous présentons STATe-of-Thoughts (STATe), une méthode ITC interprétable qui effectue une recherche sur des schémas de raisonnement de haut niveau. STATe remplace l'échantillonnage stochastique par des interventions textuelles discrètes et interprétables : un contrôleur sélectionne des actions encodant des choix de raisonnement de haut niveau, un générateur produit des étapes de raisonnement conditionnées par ces choix, et un évaluateur note les candidats pour guider la recherche. Cette approche structurée présente trois avantages principaux. Premièrement, les interventions textuelles guidées par les actions produisent une plus grande diversité de réponses que l'échantillonnage basé sur la température. Deuxièmement, dans une étude de cas sur la génération d'arguments, les séquences d'actions explicites de STATe capturent des caractéristiques interprétables très prédictives de la qualité de la sortie. Troisièmement, l'estimation de l'association entre la performance et les choix d'actions nous permet d'identifier des régions prometteuses mais inexplorées de l'espace d'actions et d'orienter directement la génération vers celles-ci. Ensemble, ces résultats établissent STATe comme un cadre pratique pour générer un texte de haute qualité, diversifié et interprétable. Notre cadre est disponible à l'adresse https://github.com/zbambergerNLP/state-of-thoughts.

English

Inference-Time-Compute (ITC) methods like Best-of-N and Tree-of-Thoughts are meant to produce output candidates that are both high-quality and diverse, but their use of high-temperature sampling often fails to achieve meaningful output diversity. Moreover, existing ITC methods offer limited control over how to perform reasoning, which in turn limits their explainability. We present STATe-of-Thoughts (STATe), an interpretable ITC method that searches over high-level reasoning patterns. STATe replaces stochastic sampling with discrete and interpretable textual interventions: a controller selects actions encoding high-level reasoning choices, a generator produces reasoning steps conditioned on those choices, and an evaluator scores candidates to guide search. This structured approach yields three main advantages. First, action-guided textual interventions produce greater response diversity than temperature-based sampling. Second, in a case study on argument generation, STATe's explicit action sequences capture interpretable features that are highly predictive of output quality. Third, estimating the association between performance and action choices allows us to identify promising yet unexplored regions of the action space and steer generation directly toward them. Together, these results establish STATe as a practical framework for generating high-quality, diverse, and interpretable text. Our framework is available at https://github.com/zbambergerNLP/state-of-thoughts.

STATe-of-Thoughts : Modèles d'Action Structurés pour l'Arbre des Pensées

STATe-of-Thoughts: Structured Action Templates for Tree-of-Thoughts

papers.abstract

Support