두 번째 생각: LLM 에이전트가 행동하고 관찰할 때의 병렬 추론

초록

ReAct 패러다임의 LLM 에이전트는 추론, 행동, 관찰을 번갈아 수행하지만, 의도적인 추론은 Thought 단계로 제한된다. 에이전트가 행동을 직렬화하고 환경을 기다리는 동안 추론은 정지된다. 우리는 Action과 Observation 단계로 이루어진 반복 구간을 추론 유휴 구간으로 식별하고, 이 구간이 향후 턴에 기여하는 추가 추론을 병렬로 수행할 수 있는지 묻는다. 이에 우리는 Second Thought를 제안한다. Second Thought는 학습이 필요 없는 추론 프레임워크로, 각 Thought 단계가 끝나는 즉시 네 개의 보조 분기를 생성하고, 이를 메인 루프와 동시에 디코딩하며, 환경 관찰이 도착하면 생성된 Thought를 다시 병합한다. 이처럼 Second Thought는 추가된 추론을 메인 스레드의 순차적 디코딩 경로 밖으로 재배치한다. 세 가지 에이전트 벤치마크와 세 가지 추론 LLM에 걸쳐, Second Thought는 9개의 (모델, 벤치마크) 쌍 모두에서 평균 턴 수를 낮춘다. 그중 6개에서는 메인 스레드 디코딩을 최대 43%까지 줄이며(해당 설정들에서 평균 약 20%), 일곱 번째에서는 사실상 변화가 없다. Pass@1은 9쌍 중 7쌍에서 유의미한 변화를 보이지 않으며, 유의미한 두 차이는 각각 +12.4 및 +10.2 포인트이다. 동일한 예산을 메인 스레드의 자체 추론에 부과하는 계산량 일치 대조군과 비교했을 때, Second Thought는 대조군이 적용되는 네 가지 설정 모두에서 1.3~3.2만큼 적은 순차 디코딩으로 엄격히 더 높은 Pass@1을 달성한다.

English

LLM agents in the ReAct paradigm alternate between reasoning, acting, and observing, but deliberate reasoning is confined to the Thought phase: while the agent serializes an action and waits for the environment, its reasoning is frozen. We identify this recurring interval for Action and Observation as a reasoning idle window and ask whether it can host additional reasoning in parallel that serves future turns. Therefore, we propose Second Thought, a training-free inference framework that forks four auxiliary branches the instant each Thought phase concludes, decodes them concurrently with the main loop, and merges the generated thoughts back when the environment observation arrives. In this way, Second Thought relocates the added reasoning off the main thread's sequential decoding path. Across three agentic benchmarks and three reasoning LLMs, Second Thought lowers the average turn count in all nine (model,benchmark) pairs and reduces main thread decoding in six of them by up to 43% (roughly 20% on average among those settings), while leaving it essentially unchanged in a seventh; Pass@1 shows no significant change in seven of nine pairs and the two significant differences are +12.4 and +10.2 points. Against a compute-matched control that forces an equivalent budget onto the main thread's own reasoning, it attains strictly higher Pass@1 with 1.3 to 3.2 less sequential decoding in all four settings where the control applies.