Reconstructie-Gestuurde Slotcurriculum: Aanpak van Objectoverfragmentatie in Video Object-Gecentreerd Leren

Reconstruction-Guided Slot Curriculum: Addressing Object Over-Fragmentation in Video Object-Centric Learning

March 24, 2026

Auteurs: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo

cs.AI

Samenvatting

Video Object-Centric Learning heeft als doel om ruwe video's op te splitsen in een kleine set object-slots, maar bestaande slot-attention-modellen kampen vaak met ernstige overfragmentatie. Dit komt doordat het model impliciet wordt aangemoedigd om alle slots te bezetten om de reconstructiedoelstelling te minimaliseren, waardoor een enkel object met meerdere redundante slots wordt gerepresenteerd. Wij pakken deze beperking aan met een reconstructie-gestuurd slot-curriculum (SlotCurri). De training start met slechts een paar grove slots en wijst geleidelijk nieuwe slots toe waar de reconstructiefout hoog blijft, waardoor de capaciteit alleen wordt uitgebreid waar nodig en fragmentatie vanaf het begin wordt voorkomen. Echter, tijdens slot-uitbreiding kunnen betekenisvolle sub-onderdelen alleen ontstaan als de semantiek op grof niveau reeds goed gescheiden is; met een klein initieel slot-budget en een MSE-doelstelling blijven semantische grenzen echter vaag. Daarom versterken we MSE met een structuurbewust verlies dat lokale contrast- en randinformatie behoudt, om elke slot aan te moedigen zijn semantische grenzen te verscherpen. Ten slotte stellen we een cyclische inferentie voor die slots vooruit en vervolgens achteruit door de beeldsequentie beweegt, waardoor temporeel consistente objectrepresentaties ontstaan, zelfs in de vroegste frames. Gecombineerd pakt SlotCurri object-overfragmentatie aan door representatiecapaciteit toe te wijzen waar reconstructie faalt, verder versterkt door structurele signalen en cyclische inferentie. Opmerkelijke FG-ARI-winsten van +6,8 op YouTube-VIS en +8,3 op MOVi-C valideren de effectiviteit van SlotCurri. Onze code is beschikbaar op github.com/wjun0830/SlotCurri.

English

Video Object-Centric Learning seeks to decompose raw videos into a small set of object slots, but existing slot-attention models often suffer from severe over-fragmentation. This is because the model is implicitly encouraged to occupy all slots to minimize the reconstruction objective, thereby representing a single object with multiple redundant slots. We tackle this limitation with a reconstruction-guided slot curriculum (SlotCurri). Training starts with only a few coarse slots and progressively allocates new slots where reconstruction error remains high, thus expanding capacity only where it is needed and preventing fragmentation from the outset. Yet, during slot expansion, meaningful sub-parts can emerge only if coarse-level semantics are already well separated; however, with a small initial slot budget and an MSE objective, semantic boundaries remain blurry. Therefore, we augment MSE with a structure-aware loss that preserves local contrast and edge information to encourage each slot to sharpen its semantic boundaries. Lastly, we propose a cyclic inference that rolls slots forward and then backward through the frame sequence, producing temporally consistent object representations even in the earliest frames. All combined, SlotCurri addresses object over-fragmentation by allocating representational capacity where reconstruction fails, further enhanced by structural cues and cyclic inference. Notable FG-ARI gains of +6.8 on YouTube-VIS and +8.3 on MOVi-C validate the effectiveness of SlotCurri. Our code is available at github.com/wjun0830/SlotCurri.