再考：LLMエージェントが行動し観察する際の並列推論

要旨

ReActパラダイムにおけるLLMエージェントは、推論・行動・観察を交互に行うが、意図的な推論はThoughtフェーズに限定されている。エージェントが行動を逐次生成して環境の応答を待つ間、その推論は停止している。我々は、このActionとObservationの間に繰り返し生じる区間を推論アイドルウィンドウと特定し、そこが将来のターンに役立つ追加の推論を並列に実行できるかどうかを問う。そこで我々はSecond Thoughtを提案する。これは学習不要の推論フレームワークであり、各Thoughtフェーズが終了した瞬間に4つの補助ブランチを分岐させ、メインループと並行してデコードし、環境観測が到着したときに生成された思考をメインループに統合する。これによりSecond Thoughtは、追加の推論をメインスレッドの逐次デコード経路から外す。3つのエージェントベンチマークと3つの推論LLMにわたる評価では、Second Thoughtは9つの（モデル、ベンチマーク）ペアすべてで平均ターン数を減少させ、そのうち6つのペアではメインスレッドのデコードを最大43%削減し（それらの設定での平均は約20%）、別の1つのペアではほぼ不変であった。Pass@1は9ペア中7つで有意な変化は見られず、有意な差があった2つのペアでは+12.4ポイントと+10.2ポイントの改善であった。計算量を一致させた対照条件（メインスレッド自身の推論に同等の予算を強制する）と比較すると、その対照条件が適用される4つの設定すべてにおいて、Second Thoughtは逐次デコード量が1.3〜3.2少なく、厳密に高いPass@1を達成した。

English

LLM agents in the ReAct paradigm alternate between reasoning, acting, and observing, but deliberate reasoning is confined to the Thought phase: while the agent serializes an action and waits for the environment, its reasoning is frozen. We identify this recurring interval for Action and Observation as a reasoning idle window and ask whether it can host additional reasoning in parallel that serves future turns. Therefore, we propose Second Thought, a training-free inference framework that forks four auxiliary branches the instant each Thought phase concludes, decodes them concurrently with the main loop, and merges the generated thoughts back when the environment observation arrives. In this way, Second Thought relocates the added reasoning off the main thread's sequential decoding path. Across three agentic benchmarks and three reasoning LLMs, Second Thought lowers the average turn count in all nine (model,benchmark) pairs and reduces main thread decoding in six of them by up to 43% (roughly 20% on average among those settings), while leaving it essentially unchanged in a seventh; Pass@1 shows no significant change in seven of nine pairs and the two significant differences are +12.4 and +10.2 points. Against a compute-matched control that forces an equivalent budget onto the main thread's own reasoning, it attains strictly higher Pass@1 with 1.3 to 3.2 less sequential decoding in all four settings where the control applies.