Mini-o3: Ampliando Padrões de Raciocínio e Turnos de Interação para Busca Visual

Mini-o3: Scaling Up Reasoning Patterns and Interaction Turns for Visual Search

September 9, 2025

Autores: Xin Lai, Junyi Li, Wei Li, Tao Liu, Tianjian Li, Hengshuang Zhao

cs.AI

Resumo

Avanços recentes em modelos multimodais de grande escala têm aproveitado ferramentas baseadas em imagens com aprendizado por reforço para abordar problemas visuais. No entanto, as abordagens de código aberto existentes frequentemente exibem padrões de raciocínio monótonos e permitem apenas um número limitado de interações, tornando-as inadequadas para tarefas difíceis que exigem exploração por tentativa e erro. Neste trabalho, abordamos essa limitação ao escalar as interações baseadas em ferramentas e introduzimos o Mini-o3, um sistema que executa raciocínio profundo e multi-turno — abrangendo dezenas de etapas — e alcança desempenho de ponta em tarefas desafiadoras de busca visual. Nossa receita para reproduzir comportamentos no estilo OpenAI o3 compreende três componentes principais. Primeiro, construímos o Visual Probe Dataset, uma coleção de milhares de problemas desafiadores de busca visual projetados para raciocínio exploratório. Segundo, desenvolvemos um pipeline iterativo de coleta de dados para obter trajetórias de partida a frio que exibem padrões diversos de raciocínio, incluindo busca em profundidade, tentativa e erro, e manutenção de objetivos. Terceiro, propomos uma estratégia de mascaramento de turnos extras que evita a penalização de respostas que excedem o número máximo de turnos durante o aprendizado por reforço, equilibrando assim a eficiência no treinamento com a escalabilidade no teste. Apesar de ser treinado com um limite superior de apenas seis turnos de interação, nosso modelo gera trajetórias que naturalmente escalam para dezenas de turnos no momento da inferência, com a precisão melhorando à medida que o número de turnos aumenta. Experimentos extensivos demonstram que o Mini-o3 produz padrões ricos de raciocínio e caminhos de pensamento profundos, resolvendo efetivamente problemas desafiadores de busca visual.

English

Recent advances in large multimodal models have leveraged image-based tools with reinforcement learning to tackle visual problems. However, existing open-source approaches often exhibit monotonous reasoning patterns and allow only a limited number of interaction turns, making them inadequate for difficult tasks that require trial-and-error exploration. In this work, we address this limitation by scaling up tool-based interactions and introduce Mini-o3, a system that executes deep, multi-turn reasoning -- spanning tens of steps -- and achieves state-of-the-art performance on challenging visual search tasks. Our recipe for reproducing OpenAI o3-style behaviors comprises three key components. First, we construct the Visual Probe Dataset, a collection of thousands of challenging visual search problems designed for exploratory reasoning. Second, we develop an iterative data collection pipeline to obtain cold-start trajectories that exhibit diverse reasoning patterns, including depth-first search, trial-and-error, and goal maintenance. Third, we propose an over-turn masking strategy that prevents penalization of over-turn responses (those that hit the maximum number of turns) during reinforcement learning, thereby balancing training-time efficiency with test-time scalability. Despite training with an upper bound of only six interaction turns, our model generates trajectories that naturally scale to tens of turns at inference time, with accuracy improving as the number of turns increases. Extensive experiments demonstrate that Mini-o3 produces rich reasoning patterns and deep thinking paths, effectively solving challenging visual search problems.