A*-Thought-V2: LLMの幾何学的ダイナミクスによる効率的な潜在推論

要旨

Chain-of-Thought (CoT) は大規模言語モデル (LLM) の推論能力を向上させるが、多大な計算コストとコンテキストコストを伴う。既存の手法は、ハードプルーニングによって中間情報を失うか、連続圧縮のための原理的な基準を欠いている。我々は A*-Thought-V2 を提案する。これは LLM の幾何学的ダイナミクスに導かれたフレームワークであり、CoT を隠れ状態の軌跡としてモデル化し、ハード削除を明示的・暗黙的インターリーブ潜在アーキテクチャに置き換える。問題、ステップ、解答の表現を3次元PCA空間に射影した後、各局所遷移と大域的な問題から解答への方向との間の整合性を測定する。整合するステップは明示的なテキストとして残り、逸脱するステップは連続潜在トークンに圧縮される。方向角は局所意味論と推論ダイナミクスの両方を捉える。小さい角度は直接実行と解答形成を示し、大きい角度は確認、修正、分岐探索をより頻繁に含む。それらの時間的変化は探索、収束、洗練の段階を明らかにする。このアーキテクチャを学習するために、我々はステップワイズ埋め込みフォーシングを導入する。これは各冗長ステップを単一の潜在埋め込みにプールする。また、ラベルフォーシングは、その潜在トークンをハードなone-hotラベルの代わりにソフトなマルチモーダル語彙分布で教師あり学習する。Qwen3.5-9B と Qwen3.6-27B を用いた、6つのドメイン内およびドメイン外ベンチマークでの実験は、A*-Thought-V2 が平均精度を最大2.6%向上させ、応答長を最大半分に削減し、計算単位あたりの精度を2.29倍に高め、前処理と学習時間をそれぞれ94.6%と最大80.3%削減することを示している。表現分析は、潜在状態がテキスト状態とは異なるコンパクトな領域を形成することを示唆している。一方、潜在トークン位置での高いエントロピーは、より豊かなステップレベルの特徴学習を促す、より広いソフトターゲットを反映している。

English

Chain-of-Thought (CoT) improves the reasoning ability of Large Language Models (LLMs) but incurs substantial computation and context costs. Existing methods either lose intermediate information through hard pruning or lack a principled criterion for continuous compression. We present A*-Thought-V2, a geometric dynamics of LLM guided framework that models CoT as a hidden-state trajectory and replaces hard deletion with an explicit-implicit interleaved latent architecture. After projecting question, step, and solution representations into a 3D PCA space, it measures alignment between each local transition and global question-to-solution direction. Aligned steps remain explicit text, whereas deviating steps are compressed into continuous latent tokens. Directional angles capture both local semantics and reasoning dynamics: small angles indicate direct execution and answer formation, while large angles more frequently involve checking, correction, and branch exploration; their temporal variation reveals exploration, convergence, and refinement stages. To train this architecture, we introduce stepwise embedding forcing, which pools each redundant step into a single latent embedding, and label forcing, which supervises that latent token with a soft multi-modal vocabulary distribution instead of a hard one-hot label. Experiments on Qwen3.5-9B and Qwen3.6-27B across six in-domain and out-of-domain benchmarks show that A*-Thought-V2 improves average accuracy by up to 2.6% while reducing response length by up to half, increasing Accuracy per Computation Unit by 2.29times, and reducing preprocessing and training time by 94.6% and up to 80.3%, respectively. Representation analyses suggest that latent states form a compact region distinct from textual states, while higher entropy at latent-token positions reflects broader soft targets that encourage richer step-level feature learning.