Mini-o3: Масштабирование шаблонов рассуждений и количества циклов взаимодействия для визуального поиска

Mini-o3: Scaling Up Reasoning Patterns and Interaction Turns for Visual Search

September 9, 2025

Авторы: Xin Lai, Junyi Li, Wei Li, Tao Liu, Tianjian Li, Hengshuang Zhao

cs.AI

Аннотация

Последние достижения в области крупных мультимодальных моделей позволили использовать инструменты на основе изображений в сочетании с обучением с подкреплением для решения визуальных задач. Однако существующие подходы с открытым исходным кодом часто демонстрируют монотонные паттерны рассуждений и позволяют лишь ограниченное количество шагов взаимодействия, что делает их непригодными для сложных задач, требующих исследования методом проб и ошибок. В данной работе мы устраняем это ограничение, масштабируя взаимодействия на основе инструментов, и представляем Mini-o3 — систему, которая выполняет глубокие, многошаговые рассуждения, охватывающие десятки шагов, и достигает наилучших результатов в сложных задачах визуального поиска. Наш подход к воспроизведению поведения в стиле OpenAI o3 включает три ключевых компонента. Во-первых, мы создаем Visual Probe Dataset — набор из тысяч сложных задач визуального поиска, предназначенных для исследовательского рассуждения. Во-вторых, мы разрабатываем итеративный процесс сбора данных для получения начальных траекторий, демонстрирующих разнообразные паттерны рассуждений, включая поиск в глубину, метод проб и ошибок и поддержание цели. В-третьих, мы предлагаем стратегию маскирования избыточных шагов, которая предотвращает штрафование ответов, превышающих максимальное количество шагов, в процессе обучения с подкреплением, тем самым балансируя эффективность обучения с масштабируемостью на этапе тестирования. Несмотря на обучение с верхней границей всего в шесть шагов взаимодействия, наша модель генерирует траектории, которые естественным образом масштабируются до десятков шагов на этапе вывода, причем точность улучшается с увеличением количества шагов. Многочисленные эксперименты демонстрируют, что Mini-o3 создает богатые паттерны рассуждений и глубокие пути мышления, эффективно решая сложные задачи визуального поиска.

English

Recent advances in large multimodal models have leveraged image-based tools with reinforcement learning to tackle visual problems. However, existing open-source approaches often exhibit monotonous reasoning patterns and allow only a limited number of interaction turns, making them inadequate for difficult tasks that require trial-and-error exploration. In this work, we address this limitation by scaling up tool-based interactions and introduce Mini-o3, a system that executes deep, multi-turn reasoning -- spanning tens of steps -- and achieves state-of-the-art performance on challenging visual search tasks. Our recipe for reproducing OpenAI o3-style behaviors comprises three key components. First, we construct the Visual Probe Dataset, a collection of thousands of challenging visual search problems designed for exploratory reasoning. Second, we develop an iterative data collection pipeline to obtain cold-start trajectories that exhibit diverse reasoning patterns, including depth-first search, trial-and-error, and goal maintenance. Third, we propose an over-turn masking strategy that prevents penalization of over-turn responses (those that hit the maximum number of turns) during reinforcement learning, thereby balancing training-time efficiency with test-time scalability. Despite training with an upper bound of only six interaction turns, our model generates trajectories that naturally scale to tens of turns at inference time, with accuracy improving as the number of turns increases. Extensive experiments demonstrate that Mini-o3 produces rich reasoning patterns and deep thinking paths, effectively solving challenging visual search problems.