STORM: Слотовая задача-ориентированная объектно-центрированная репрезентация для роботизированного манипулирования

STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation

January 28, 2026

Авторы: Alexandre Chapin, Emmanuel Dellandréa, Liming Chen

cs.AI

Аннотация

Модели визуального фундамента обеспечивают мощные перцептивные признаки для робототехники, однако их плотные представления лишены явной объектной структуры, что ограничивает надежность и управляемость в задачах манипулирования. Мы предлагаем STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation) — легковесный модуль адаптации с объектно-ориентированным подходом, который дополняет замороженные визуальные фундаментальные модели небольшим набором семантически осознанных слотов для роботизированного манипулирования. Вместо переобучения крупных базовых моделей STORM использует многоэтапную стратегию обучения: сначала объектно-ориентированные слоты стабилизируются посредством визуально-семантического предварительного обучения с использованием языковых эмбеддингов, затем совместно адаптируются с политикой манипулирования на последующем этапе. Такое поэтапное обучение предотвращает вырождение формирования слотов и сохраняет семантическую согласованность, одновременно согласуя восприятие с целевыми задачами. Эксперименты на бенчмарках обнаружения объектов и симулированных задачах манипулирования показывают, что STORM улучшает обобщаемость на визуальные дистракторы и производительность управления по сравнению с прямым использованием признаков замороженных фундаментальных моделей или сквозным обучением объектно-ориентированных представлений. Наши результаты подчеркивают, что многоэтапная адаптация является эффективным механизмом преобразования общих признаков фундаментальных моделей в ориентированные на задачу объектно-центрированные представления для роботизированного управления.

English

Visual foundation models provide strong perceptual features for robotics, but their dense representations lack explicit object-level structure, limiting robustness and contractility in manipulation tasks. We propose STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), a lightweight object-centric adaptation module that augments frozen visual foundation models with a small set of semantic-aware slots for robotic manipulation. Rather than retraining large backbones, STORM employs a multi-phase training strategy: object-centric slots are first stabilized through visual--semantic pretraining using language embeddings, then jointly adapted with a downstream manipulation policy. This staged learning prevents degenerate slot formation and preserves semantic consistency while aligning perception with task objectives. Experiments on object discovery benchmarks and simulated manipulation tasks show that STORM improves generalization to visual distractors, and control performance compared to directly using frozen foundation model features or training object-centric representations end-to-end. Our results highlight multi-phase adaptation as an efficient mechanism for transforming generic foundation model features into task-aware object-centric representations for robotic control.