STORM: Representação de Objetos Centrada em Tarefas Baseada em Slots para Manipulação Robótica

STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation

January 28, 2026

Autores: Alexandre Chapin, Emmanuel Dellandréa, Liming Chen

cs.AI

Resumo

Os modelos visuais de base fornecem características perceptivas robustas para a robótica, mas as suas representações densas carecem de estrutura explícita ao nível do objeto, limitando a robustez e a contratilidade em tarefas de manipulação. Propomos o STORM (Representação de Objetos Centrada no Utilizador Baseada em Slots para Manipulação Robótica), um módulo de adaptação leve e centrado no objeto que aumenta os modelos visuais de base congelados com um pequeno conjunto de slots semânticos para manipulação robótica. Em vez de retreinar grandes *backbones*, o STORM emprega uma estratégia de treino multifásica: os slots centrados no objeto são primeiro estabilizados através de pré-treino visual--semântico usando incorporações linguísticas, sendo depois adaptados em conjunto com uma política de manipulação a jusante. Esta aprendizagem em fases evita a formação degenerada de slots e preserva a consistência semântica, alinhando simultaneamente a perceção com os objetivos da tarefa. Experiências em benchmarks de descoberta de objetos e tarefas de manipulação simuladas mostram que o STORM melhora a generalização a distratores visuais e o desempenho de controlo, em comparação com a utilização direta de características de modelos de base congelados ou com o treino de representações centradas no objeto de forma integral (*end-to-end*). Os nossos resultados destacam a adaptação multifásica como um mecanismo eficiente para transformar características genéricas de modelos de base em representações centradas no objeto e conscientes da tarefa para controlo robótico.

English

Visual foundation models provide strong perceptual features for robotics, but their dense representations lack explicit object-level structure, limiting robustness and contractility in manipulation tasks. We propose STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), a lightweight object-centric adaptation module that augments frozen visual foundation models with a small set of semantic-aware slots for robotic manipulation. Rather than retraining large backbones, STORM employs a multi-phase training strategy: object-centric slots are first stabilized through visual--semantic pretraining using language embeddings, then jointly adapted with a downstream manipulation policy. This staged learning prevents degenerate slot formation and preserves semantic consistency while aligning perception with task objectives. Experiments on object discovery benchmarks and simulated manipulation tasks show that STORM improves generalization to visual distractors, and control performance compared to directly using frozen foundation model features or training object-centric representations end-to-end. Our results highlight multi-phase adaptation as an efficient mechanism for transforming generic foundation model features into task-aware object-centric representations for robotic control.