Ricostruzione Guidata da Curriculum degli Slot: Affrontare la Sovraframmentazione degli Oggetti nell'Apprendimento Video Centrato sugli Oggetti
Reconstruction-Guided Slot Curriculum: Addressing Object Over-Fragmentation in Video Object-Centric Learning
March 24, 2026
Autori: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo
cs.AI
Abstract
L'apprendimento incentrato sugli oggetti video mira a scomporre i video grezzi in un piccolo insieme di slot di oggetti, ma i modelli esistenti basati sull'attenzione ai slot soffrono spesso di una grave sovraframmentazione. Ciò accade perché il modello è implicitamente incoraggiato a occupare tutti i slot per minimizzare l'obiettivo di ricostruzione, rappresentando così un singolo oggetto con più slot ridondanti. Affrontiamo questa limitazione con un curriculum di slot guidato dalla ricostruzione (SlotCurri). L'addestramento inizia con pochi slot granulari e progressivamente assegna nuovi slot dove l'errore di ricostruzione rimane elevato, espandendo così la capacità solo dove necessario e prevenendo la frammentazione fin dall'inizio. Tuttavia, durante l'espansione dei slot, sotto-parti significative possono emergere solo se la semantica a livello granulare è già ben separata; tuttavia, con un budget iniziale di slot ridotto e un obiettivo MSE (Errore Quadratico Medio), i confini semantici rimangono sfocati. Pertanto, integriamo l'MSE con una loss che preserva il contrasto locale e le informazioni dei bordi per incoraggiare ogni slot a definire meglio i propri confini semantici. Infine, proponiamo un'inferenza ciclica che propaga i slot in avanti e poi all'indietro attraverso la sequenza di frame, producendo rappresentazioni di oggetti temporalmente coerenti anche nei frame iniziali. Nel complesso, SlotCurri affronta la sovraframmentazione degli oggetti allocando la capacità rappresentativa dove la ricostruzione fallisce, ulteriormente migliorata da segnali strutturali e inferenza ciclica. Incrementi significativi di FG-ARI di +6.8 su YouTube-VIS e +8.3 su MOVi-C convalidano l'efficacia di SlotCurri. Il nostro codice è disponibile su github.com/wjun0830/SlotCurri.
English
Video Object-Centric Learning seeks to decompose raw videos into a small set of object slots, but existing slot-attention models often suffer from severe over-fragmentation. This is because the model is implicitly encouraged to occupy all slots to minimize the reconstruction objective, thereby representing a single object with multiple redundant slots. We tackle this limitation with a reconstruction-guided slot curriculum (SlotCurri). Training starts with only a few coarse slots and progressively allocates new slots where reconstruction error remains high, thus expanding capacity only where it is needed and preventing fragmentation from the outset. Yet, during slot expansion, meaningful sub-parts can emerge only if coarse-level semantics are already well separated; however, with a small initial slot budget and an MSE objective, semantic boundaries remain blurry. Therefore, we augment MSE with a structure-aware loss that preserves local contrast and edge information to encourage each slot to sharpen its semantic boundaries. Lastly, we propose a cyclic inference that rolls slots forward and then backward through the frame sequence, producing temporally consistent object representations even in the earliest frames. All combined, SlotCurri addresses object over-fragmentation by allocating representational capacity where reconstruction fails, further enhanced by structural cues and cyclic inference. Notable FG-ARI gains of +6.8 on YouTube-VIS and +8.3 on MOVi-C validate the effectiveness of SlotCurri. Our code is available at github.com/wjun0830/SlotCurri.