Lo scaling dei dati porta a una generalizzazione compositiva visiva?

Does Data Scaling Lead to Visual Compositional Generalization?

July 9, 2025

Autori: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

cs.AI

Abstract

La comprensione compositiva è cruciale per l'intelligenza umana, ma rimane incerto se i modelli visivi contemporanei la possiedano. Il paradigma dominante dell'apprendimento automatico si basa sulla premessa che aumentare la scala dei dati e delle dimensioni dei modelli migliorerà le prestazioni fuori distribuzione, inclusa la generalizzazione compositiva. Testiamo questa premessa attraverso esperimenti controllati che variano sistematicamente la scala dei dati, la diversità dei concetti e la copertura combinatoria. Scopriamo che la generalizzazione compositiva è guidata dalla diversità dei dati, non dalla mera scala dei dati. Una maggiore copertura combinatoria costringe i modelli a scoprire una struttura rappresentativa fattorizzata linearmente, in cui i concetti si scompongono in componenti additive. Dimostriamo che questa struttura è fondamentale per l'efficienza, consentendo una generalizzazione perfetta da poche combinazioni osservate. Valutando modelli pre-addestrati (DINO, CLIP), troviamo prestazioni superiori al caso ma imperfette, suggerendo una presenza parziale di questa struttura. Il nostro lavoro motiva un maggiore enfasi sulla costruzione di dataset diversificati per la generalizzazione compositiva e sulla considerazione dell'importanza della struttura rappresentativa che consente un apprendimento compositivo efficiente. Codice disponibile su https://github.com/oshapio/visual-compositional-generalization.

English

Compositional understanding is crucial for human intelligence, yet it remains unclear whether contemporary vision models exhibit it. The dominant machine learning paradigm is built on the premise that scaling data and model sizes will improve out-of-distribution performance, including compositional generalization. We test this premise through controlled experiments that systematically vary data scale, concept diversity, and combination coverage. We find that compositional generalization is driven by data diversity, not mere data scale. Increased combinatorial coverage forces models to discover a linearly factored representational structure, where concepts decompose into additive components. We prove this structure is key to efficiency, enabling perfect generalization from few observed combinations. Evaluating pretrained models (DINO, CLIP), we find above-random yet imperfect performance, suggesting partial presence of this structure. Our work motivates stronger emphasis on constructing diverse datasets for compositional generalization, and considering the importance of representational structure that enables efficient compositional learning. Code available at https://github.com/oshapio/visual-compositional-generalization.