Plan de Estudios Dirigido por Reconstrucción para Segmentación: Abordando la Sobre-Fragmentación de Objetos en el Aprendizaje Centrado en Objetos en Video
Reconstruction-Guided Slot Curriculum: Addressing Object Over-Fragmentation in Video Object-Centric Learning
March 24, 2026
Autores: WonJun Moon, Hyun Seok Seong, Jae-Pil Heo
cs.AI
Resumen
El Aprendizaje Centrado en Objetos en Video busca descomponer videos crudos en un pequeño conjunto de espacios de objetos (slots), pero los modelos existentes de atención por slots a menudo sufren de una grave sobre-fragmentación. Esto se debe a que el modelo está implícitamente incentivado a ocupar todos los slots para minimizar el objetivo de reconstrucción, representando así un solo objeto con múltiples slots redundantes. Abordamos esta limitación con un currículo de slots guiado por la reconstrucción (SlotCurri). El entrenamiento comienza con solo unos pocos slots gruesos y asigna progresivamente nuevos slots donde el error de reconstrucción permanece alto, expandiendo así la capacidad solo donde se necesita y previniendo la fragmentación desde el principio. Sin embargo, durante la expansión de slots, las subpartes significativas pueden emerger solo si la semántica a nivel grueso ya está bien separada; no obstante, con un presupuesto inicial pequeño de slots y un objetivo de Error Cuadrático Medio (MSE), los límites semánticos permanecen difusos. Por lo tanto, complementamos el MSE con una pérdida consciente de la estructura que preserva el contraste local y la información de bordes para fomentar que cada slot defina mejor sus límites semánticos. Por último, proponemos una inferencia cíclica que proyecta los slots hacia adelante y luego hacia atrás a través de la secuencia de fotogramas, produciendo representaciones de objetos temporalmente consistentes incluso en los fotogramas más tempranos. En conjunto, SlotCurri aborda la sobre-fragmentación de objetos asignando capacidad representativa donde falla la reconstrucción, mejorada además por señales estructurales e inferencia cíclica. Ganancias notables de +6.8 en FG-ARI para YouTube-VIS y +8.3 en MOVi-C validan la efectividad de SlotCurri. Nuestro código está disponible en github.com/wjun0830/SlotCurri.
English
Video Object-Centric Learning seeks to decompose raw videos into a small set of object slots, but existing slot-attention models often suffer from severe over-fragmentation. This is because the model is implicitly encouraged to occupy all slots to minimize the reconstruction objective, thereby representing a single object with multiple redundant slots. We tackle this limitation with a reconstruction-guided slot curriculum (SlotCurri). Training starts with only a few coarse slots and progressively allocates new slots where reconstruction error remains high, thus expanding capacity only where it is needed and preventing fragmentation from the outset. Yet, during slot expansion, meaningful sub-parts can emerge only if coarse-level semantics are already well separated; however, with a small initial slot budget and an MSE objective, semantic boundaries remain blurry. Therefore, we augment MSE with a structure-aware loss that preserves local contrast and edge information to encourage each slot to sharpen its semantic boundaries. Lastly, we propose a cyclic inference that rolls slots forward and then backward through the frame sequence, producing temporally consistent object representations even in the earliest frames. All combined, SlotCurri addresses object over-fragmentation by allocating representational capacity where reconstruction fails, further enhanced by structural cues and cyclic inference. Notable FG-ARI gains of +6.8 on YouTube-VIS and +8.3 on MOVi-C validate the effectiveness of SlotCurri. Our code is available at github.com/wjun0830/SlotCurri.