STORM: Slot-gebaseerde Taakbewuste Objectgecentreerde Representatie voor Robotmanipulatie

STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation

January 28, 2026

Auteurs: Alexandre Chapin, Emmanuel Dellandréa, Liming Chen

cs.AI

Samenvatting

Visuele foundationmodellen bieden robuuste perceptuele kenmerken voor robotica, maar hun dichte representaties missen expliciete objectstructuur, wat de robuustheid en contractiliteit bij manipulatietaken beperkt. Wij stellen STORM voor (Slot-based Task-aware Object-centric Representation for robotic Manipulation), een lichtgewicht objectgecentreerd aanpassingsmodule die bevroren visuele foundationmodellen verrijkt met een kleine set semantisch-bewuste slots voor robotmanipulatie. In plaats van grote backbones opnieuw te trainen, hanteert STORM een meertraps trainingsstrategie: objectgecentreerde slots worden eerst gestabiliseerd via visueel-semantische voortraining met taal-embeddings, waarna ze gezamenlijk worden aangepast met een downstream manipulatiefbeleid. Deze gefaseerde leeraanpak voorkomt gedegenereerde slotvorming en behoudt semantische consistentie terwijl de perceptie wordt afgestemd op taakdoelen. Experimenten op objectontdekkingsbenchmarks en gesimuleerde manipulatietaken tonen aan dat STORM de generalisatie naar visuele afleiders en de controleprestatie verbetert in vergelijking met het direct gebruiken van bevroren foundationmodelkenmerken of end-to-end training van objectgecentreerde representaties. Onze resultaten benadrukken meertrapsaanpassing als een efficiënt mechanisme om generieke foundationmodelkenmerken om te zetten in taakbewuste objectgecentreerde representaties voor robotbesturing.

English

Visual foundation models provide strong perceptual features for robotics, but their dense representations lack explicit object-level structure, limiting robustness and contractility in manipulation tasks. We propose STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), a lightweight object-centric adaptation module that augments frozen visual foundation models with a small set of semantic-aware slots for robotic manipulation. Rather than retraining large backbones, STORM employs a multi-phase training strategy: object-centric slots are first stabilized through visual--semantic pretraining using language embeddings, then jointly adapted with a downstream manipulation policy. This staged learning prevents degenerate slot formation and preserves semantic consistency while aligning perception with task objectives. Experiments on object discovery benchmarks and simulated manipulation tasks show that STORM improves generalization to visual distractors, and control performance compared to directly using frozen foundation model features or training object-centric representations end-to-end. Our results highlight multi-phase adaptation as an efficient mechanism for transforming generic foundation model features into task-aware object-centric representations for robotic control.