Rekonstruktionsgesteuerte Slot-Lehrplanmethode: Bewältigung der Objektüberfragmentierung beim objektzentrierten Lernen in Videos
Reconstruction-Guided Slot Curriculum: Addressing Object Over-Fragmentation in Video Object-Centric Learning
March 24, 2026
Autoren: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo
cs.AI
Zusammenfassung
Video Object-Centric Learning zielt darauf ab, Rohvideos in eine kleine Menge von Objekt-Slots zu zerlegen, doch bestehende Slot-Attention-Modelle leiden häufig unter starker Überfragmentierung. Dies liegt daran, dass das Modell implizit dazu angeregt wird, alle Slots zu belegen, um das Rekonstruktionsziel zu minimieren, wodurch ein einzelnes Objekt mit mehreren redundanten Slots repräsentiert wird. Wir begegnen dieser Einschränkung mit einem rekonstruktionsgesteuerten Slot-Curriculum (SlotCurri). Das Training beginnt mit nur wenigen groben Slots und weist schrittweise neue Slots dort zu, wo der Rekonstruktionsfehler hoch bleibt, wodurch die Kapazität nur dort erweitert wird, wo sie benötigt wird, und Überfragmentierung von Anfang an verhindert wird. Allerdings können während der Slot-Erweiterung bedeutungsvolle Teilbereiche nur dann entstehen, wenn die Semantik auf grober Ebene bereits gut getrennt ist; bei einem kleinen anfänglichen Slot-Budget und einem MSE-Ziel bleiben die semantischen Grenzen jedoch verschwommen. Daher ergänzen wir MSE um einen strukturwahrnehmenden Verlust, der lokale Kontraste und Kanteninformationen bewahrt, um jeden Slot dazu anzuregen, seine semantischen Grenzen zu schärfen. Schließlich schlagen wir eine zyklische Inferenz vor, die Slots vorwärts und dann rückwärts durch die Bildsequenz bewegt und so selbst in den frühesten Bildern zeitlich konsistente Objektrepräsentationen erzeugt. Alles zusammen adressiert SlotCurri die Überfragmentierung von Objekten, indem repräsentative Kapazität dort zugewiesen wird, wo die Rekonstruktion versagt, weiter verstärkt durch strukturelle Hinweise und zyklische Inferenz. Bemerkenswerte FG-ARI-Steigerungen von +6,8 auf YouTube-VIS und +8,3 auf MOVi-C validieren die Wirksamkeit von SlotCurri. Unser Code ist verfügbar unter github.com/wjun0830/SlotCurri.
English
Video Object-Centric Learning seeks to decompose raw videos into a small set of object slots, but existing slot-attention models often suffer from severe over-fragmentation. This is because the model is implicitly encouraged to occupy all slots to minimize the reconstruction objective, thereby representing a single object with multiple redundant slots. We tackle this limitation with a reconstruction-guided slot curriculum (SlotCurri). Training starts with only a few coarse slots and progressively allocates new slots where reconstruction error remains high, thus expanding capacity only where it is needed and preventing fragmentation from the outset. Yet, during slot expansion, meaningful sub-parts can emerge only if coarse-level semantics are already well separated; however, with a small initial slot budget and an MSE objective, semantic boundaries remain blurry. Therefore, we augment MSE with a structure-aware loss that preserves local contrast and edge information to encourage each slot to sharpen its semantic boundaries. Lastly, we propose a cyclic inference that rolls slots forward and then backward through the frame sequence, producing temporally consistent object representations even in the earliest frames. All combined, SlotCurri addresses object over-fragmentation by allocating representational capacity where reconstruction fails, further enhanced by structural cues and cyclic inference. Notable FG-ARI gains of +6.8 on YouTube-VIS and +8.3 on MOVi-C validate the effectiveness of SlotCurri. Our code is available at github.com/wjun0830/SlotCurri.