Mini-o3 : Mise à l'échelle des modèles de raisonnement et des tours d'interaction pour la recherche visuelle

Mini-o3: Scaling Up Reasoning Patterns and Interaction Turns for Visual Search

September 9, 2025

papers.authors: Xin Lai, Junyi Li, Wei Li, Tao Liu, Tianjian Li, Hengshuang Zhao

cs.AI

papers.abstract

Les récents progrès des grands modèles multimodaux ont exploité des outils basés sur l'image avec l'apprentissage par renforcement pour résoudre des problèmes visuels. Cependant, les approches open-source existantes présentent souvent des schémas de raisonnement monotones et n'autorisent qu'un nombre limité de tours d'interaction, les rendant inadaptées pour des tâches complexes nécessitant une exploration par essais et erreurs. Dans ce travail, nous surmontons cette limitation en augmentant l'échelle des interactions basées sur des outils et introduisons Mini-o3, un système qui exécute un raisonnement profond et multi-tours — s'étendant sur des dizaines d'étapes — et atteint des performances de pointe sur des tâches de recherche visuelle difficiles. Notre recette pour reproduire les comportements de type OpenAI o3 comprend trois composants clés. Premièrement, nous construisons le Visual Probe Dataset, une collection de milliers de problèmes de recherche visuelle complexes conçus pour un raisonnement exploratoire. Deuxièmement, nous développons un pipeline itératif de collecte de données pour obtenir des trajectoires de démarrage à froid qui présentent des schémas de raisonnement variés, incluant la recherche en profondeur, les essais et erreurs, et le maintien d'objectifs. Troisièmement, nous proposons une stratégie de masquage des tours excédentaires qui évite de pénaliser les réponses dépassant le nombre maximum de tours lors de l'apprentissage par renforcement, équilibrant ainsi l'efficacité à l'entraînement avec la scalabilité au test. Bien qu'entraîné avec une limite supérieure de seulement six tours d'interaction, notre modèle génère des trajectoires qui s'étendent naturellement à des dizaines de tours lors de l'inférence, avec une précision qui s'améliore à mesure que le nombre de tours augmente. Des expériences approfondies démontrent que Mini-o3 produit des schémas de raisonnement riches et des chemins de pensée profonds, résolvant efficacement des problèmes de recherche visuelle complexes.

English

Recent advances in large multimodal models have leveraged image-based tools with reinforcement learning to tackle visual problems. However, existing open-source approaches often exhibit monotonous reasoning patterns and allow only a limited number of interaction turns, making them inadequate for difficult tasks that require trial-and-error exploration. In this work, we address this limitation by scaling up tool-based interactions and introduce Mini-o3, a system that executes deep, multi-turn reasoning -- spanning tens of steps -- and achieves state-of-the-art performance on challenging visual search tasks. Our recipe for reproducing OpenAI o3-style behaviors comprises three key components. First, we construct the Visual Probe Dataset, a collection of thousands of challenging visual search problems designed for exploratory reasoning. Second, we develop an iterative data collection pipeline to obtain cold-start trajectories that exhibit diverse reasoning patterns, including depth-first search, trial-and-error, and goal maintenance. Third, we propose an over-turn masking strategy that prevents penalization of over-turn responses (those that hit the maximum number of turns) during reinforcement learning, thereby balancing training-time efficiency with test-time scalability. Despite training with an upper bound of only six interaction turns, our model generates trajectories that naturally scale to tens of turns at inference time, with accuracy improving as the number of turns increases. Extensive experiments demonstrate that Mini-o3 produces rich reasoning patterns and deep thinking paths, effectively solving challenging visual search problems.