Beacon: 언제, 어떻게 에이전트적 시각 추론을 수행할지 아는 것

초록

에이전트 기반 시각 추론의 근본적인 목표는 다중모달 대규모 언어 모델(MLLM)의 복잡한 작업 성공률을 향상시키는 것이지, 단지 정교하지만 비효율적인 추론 방식을 갖추는 것이 아니다. 본 연구에서는 도구 사용의 두 가지 핵심 차원, 즉 모드 적응성(MA)과 도구 효과(TE)를 통해 에이전트 기반 시각 추론을 재고한다. 모드 적응성은 MLLM이 도구가 실제로 필요한 시점을 인식하고 그에 따라 도구를 호출할 수 있는지를 나타내며, 이를 통해 불필요한 계산 오버헤드를 피하면서 도구 지원이 필요한 어려운 문제에서 성능을 향상시킨다. 도구 효과는 도구 사용의 실제 영향을 나타낸다. 도구는 텍스트 전용 추론으로는 해결할 수 없는 문제에서 모델의 능력을 확장해야 하며, 도구 없이도 모델이 이미 해결할 수 있는 문제에서는 추가적인 오류를 유발하지 않아야 한다. 우리는 이 두 가지 속성을 정량화하기 위한 포괄적인 분석을 수행하고, 기존 에이전트 기반 시각 추론 모델이 모드 적응성이 제한적임을 경험적으로 밝힌다. 또한 어려운 예제에서 도구 사용이 가져오는 이득은 모델이 이미 해결할 수 있는 쉬운 예제에서 발생하는 손해에 의해 대부분 상쇄된다는 사실을 보여준다. 이러한 관찰에서 착안하여, 우리는 더 강력한 전반적 성능, 향상된 모드 적응성, 그리고 도구 사용으로 인한 실질적인 성능 향상을 달성하는 새로운 에이전트 기반 시각 추론 모델인 Beacon을 제안한다. Beacon의 핵심에는 강화 학습 단계에서의 필요성 인지 적응형 보상(Necessity-Aware Adaptive Reward)과 힌트 기반 능력 확장(Hint-Guided Capability Expansion) 메커니즘이 있다. 이들은 각각 작업의 필요성에 따라 적응적으로 도구를 호출하도록 장려하고, 가장 어려운 문제에서 모델의 도구 사용 능력을 강화한다. 다양한 벤치마크에 걸친 광범위한 실험을 통해 Beacon의 강력한 전반적 성능과 모드 적응성 및 도구 효과 양쪽에서의 실질적인 개선을 입증한다.

English

The fundamental goal of agentic visual reasoning is to improve the success rate of multimodal large language models (MLLMs) on complex tasks, rather than merely equipping them with a sophisticated yet inefficient reasoning paradigm. In this work, we rethink agentic visual reasoning through two key dimensions of tool use: Mode Adaptiveness (MA) and Tool Effect (TE). Mode Adaptiveness characterizes whether an MLLM can recognize when tools are truly necessary and invoke them accordingly, thereby avoiding unnecessary computational overhead while improving performance on challenging problems that require tool assistance. Tool Effect characterizes the actual impact of tool use: tools should extend the model's capabilities on problems unsolvable through text-only reasoning, while avoiding additional errors on problems that the model can already solve without tools. We conduct a comprehensive analysis to quantify these two properties and empirically reveal that existing agentic visual reasoning models exhibit limited Mode Adaptiveness, while the gains produced by tool use on hard examples are largely offset by the harm introduced on easy examples that the models can already solve. Motivated by these observations, we propose Beacon, a novel agentic visual reasoning model that achieves stronger overall performance, improved Mode Adaptiveness, and genuine tool-induced performance gains. At the core of Beacon are the Necessity-Aware Adaptive Reward and the Hint-Guided Capability Expansion mechanism in the reinforcement learning stage, which respectively encourage adaptive tool invocation based on task necessity and strengthen the model's tool-use capability on the most challenging problems. Extensive experiments across diverse benchmarks demonstrate the strong overall performance of Beacon and its substantial improvements in both Mode Adaptiveness and Tool Effect.