STORM: Representación de Objetos Centrada en Tareas Basada en Ranuras para la Manipulación Robótica

STORM: Slot-based Task-aware Object-centric Representation for robotic Manipulation

January 28, 2026

Autores: Alexandre Chapin, Emmanuel Dellandréa, Liming Chen

cs.AI

Resumen

Los modelos visuales de base proporcionan características perceptuales sólidas para la robótica, pero sus representaciones densas carecen de estructura explícita a nivel de objeto, lo que limita la robustez y la capacidad de generalización en tareas de manipulación. Proponemos STORM (Representación Objetocéntrica para Manipulación Robótica basada en Slots y Consciente de la Tarea), un módulo de adaptación objetocéntrico y ligero que aumenta los modelos visuales de base congelados con un pequeño conjunto de slots semánticamente conscientes para la manipulación robótica. En lugar de reentrenar grandes modelos base, STORM emplea una estrategia de entrenamiento multifase: primero se estabilizan los slots objetocéntricos mediante un preentrenamiento visual-semántico usando incrustaciones lingüísticas, y luego se adaptan conjuntamente con una política de manipulación descendente. Este aprendizaje escalonado evita la formación degenerada de slots y preserva la consistencia semántica mientras alinea la percepción con los objetivos de la tarea. Los experimentos en benchmarks de descubrimiento de objetos y tareas de manipulación simuladas muestran que STORM mejora la generalización ante distractores visuales y el rendimiento del control, en comparación con usar directamente las características de modelos de base congelados o entrenar representaciones objetocéntricas de extremo a extremo. Nuestros resultados destacan la adaptación multifase como un mecanismo eficiente para transformar las características genéricas de los modelos de base en representaciones objetocéntricas conscientes de la tarea para el control robótico.

English

Visual foundation models provide strong perceptual features for robotics, but their dense representations lack explicit object-level structure, limiting robustness and contractility in manipulation tasks. We propose STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), a lightweight object-centric adaptation module that augments frozen visual foundation models with a small set of semantic-aware slots for robotic manipulation. Rather than retraining large backbones, STORM employs a multi-phase training strategy: object-centric slots are first stabilized through visual--semantic pretraining using language embeddings, then jointly adapted with a downstream manipulation policy. This staged learning prevents degenerate slot formation and preserves semantic consistency while aligning perception with task objectives. Experiments on object discovery benchmarks and simulated manipulation tasks show that STORM improves generalization to visual distractors, and control performance compared to directly using frozen foundation model features or training object-centric representations end-to-end. Our results highlight multi-phase adaptation as an efficient mechanism for transforming generic foundation model features into task-aware object-centric representations for robotic control.