Leidt Dataschaling tot Visuele Compositionele Generalisatie?

Does Data Scaling Lead to Visual Compositional Generalization?

July 9, 2025

Auteurs: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

cs.AI

Samenvatting

Compositioneel begrip is cruciaal voor menselijke intelligentie, maar het blijft onduidelijk of hedendaagse vision-modellen dit vertonen. Het dominante machine learning-paradigma is gebaseerd op het uitgangspunt dat het opschalen van data en modelgroottes de prestaties buiten de distributie zal verbeteren, inclusief compositionele generalisatie. We testen dit uitgangspunt door middel van gecontroleerde experimenten die systematisch variëren in dataschaal, conceptdiversiteit en combinatiedekking. We ontdekken dat compositionele generalisatie wordt aangedreven door datadiversiteit, niet slechts door dataschaal. Toegenomen combinatorische dekking dwingt modellen om een lineair gefactoriseerde representatiestructuur te ontdekken, waarbij concepten ontbinden in additieve componenten. We bewijzen dat deze structuur essentieel is voor efficiëntie, waardoor perfecte generalisatie mogelijk wordt vanuit weinig waargenomen combinaties. Bij het evalueren van vooraf getrainde modellen (DINO, CLIP) vinden we boven-gemiddelde maar onvolmaakte prestaties, wat suggereert dat deze structuur gedeeltelijk aanwezig is. Ons werk motiveert een sterkere nadruk op het construeren van diverse datasets voor compositionele generalisatie, en het overwegen van het belang van representatiestructuur die efficiënt compositioneel leren mogelijk maakt. Code beschikbaar op https://github.com/oshapio/visual-compositional-generalization.

English

Compositional understanding is crucial for human intelligence, yet it remains unclear whether contemporary vision models exhibit it. The dominant machine learning paradigm is built on the premise that scaling data and model sizes will improve out-of-distribution performance, including compositional generalization. We test this premise through controlled experiments that systematically vary data scale, concept diversity, and combination coverage. We find that compositional generalization is driven by data diversity, not mere data scale. Increased combinatorial coverage forces models to discover a linearly factored representational structure, where concepts decompose into additive components. We prove this structure is key to efficiency, enabling perfect generalization from few observed combinations. Evaluating pretrained models (DINO, CLIP), we find above-random yet imperfect performance, suggesting partial presence of this structure. Our work motivates stronger emphasis on constructing diverse datasets for compositional generalization, and considering the importance of representational structure that enables efficient compositional learning. Code available at https://github.com/oshapio/visual-compositional-generalization.