STORM: Steckplatzbasierte, aufgabenbewusste, objektzentrierte Repräsentation für die Robotermanipulation

STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation

January 28, 2026

papers.authors: Alexandre Chapin, Emmanuel Dellandréa, Liming Chen

cs.AI

papers.abstract

Visuelle Foundation Models liefern starke perzeptive Merkmale für die Robotik, doch ihre dichten Repräsentationen mangeln es an expliziter objektbasierter Struktur, was die Robustheit und Kontrahierbarkeit bei Manipulationsaufgaben einschränkt. Wir stellen STORM (Slot-basierte, aufgabenbewusste, objektzentrierte Repräsentation für robotische Manipulation) vor, ein leichtgewichtiges Adaptionsmodul, das eingefrorene visuelle Foundation Models mit einer kleinen Menge semantisch bewusster Slots für die robotische Manipulation erweitert. Anstatt große Backbones neu zu trainieren, setzt STORM eine mehrphasige Trainingsstrategie ein: Objektzentrierte Slots werden zunächst durch visuell-semantisches Pre-training unter Verwendung von Sprach-Embeddings stabilisiert und anschließend gemeinsam mit einer nachgeschalteten Manipulationspolicy adaptiert. Dieses gestufte Lernen verhindert eine degenerierte Slot-Bildung und bewahrt die semantische Konsistenz, während die Wahrnehmung mit den Aufgabenzielen in Einklang gebracht wird. Experimente auf Benchmarks zur Objekterkennung und simulierten Manipulationsaufgaben zeigen, dass STORM die Generalisierung gegenüber visuellen Ablenkern und die Steuerungsleistung im Vergleich zur direkten Verwendung eingefrorener Foundation-Model-Merkmale oder dem End-to-End-Training objektzentrierter Repräsentationen verbessert. Unsere Ergebnisse unterstreichen die mehrphasige Adaptation als einen effizienten Mechanismus zur Transformation generischer Foundation-Model-Merkmale in aufgabenbewusste, objektzentrierte Repräsentationen für die robotische Steuerung.

English

Visual foundation models provide strong perceptual features for robotics, but their dense representations lack explicit object-level structure, limiting robustness and contractility in manipulation tasks. We propose STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), a lightweight object-centric adaptation module that augments frozen visual foundation models with a small set of semantic-aware slots for robotic manipulation. Rather than retraining large backbones, STORM employs a multi-phase training strategy: object-centric slots are first stabilized through visual--semantic pretraining using language embeddings, then jointly adapted with a downstream manipulation policy. This staged learning prevents degenerate slot formation and preserves semantic consistency while aligning perception with task objectives. Experiments on object discovery benchmarks and simulated manipulation tasks show that STORM improves generalization to visual distractors, and control performance compared to directly using frozen foundation model features or training object-centric representations end-to-end. Our results highlight multi-phase adaptation as an efficient mechanism for transforming generic foundation model features into task-aware object-centric representations for robotic control.