La mise à l'échelle des données favorise-t-elle la généralisation compositionnelle visuelle ?

Does Data Scaling Lead to Visual Compositional Generalization?

July 9, 2025

papers.authors: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

cs.AI

papers.abstract

La compréhension compositionnelle est cruciale pour l'intelligence humaine, mais il reste incertain si les modèles de vision contemporains en font preuve. Le paradigme dominant en apprentissage automatique repose sur le postulat que l'augmentation de la taille des données et des modèles améliorera les performances hors distribution, y compris la généralisation compositionnelle. Nous testons ce postulat à travers des expériences contrôlées qui varient systématiquement l'échelle des données, la diversité des concepts et la couverture des combinaisons. Nous constatons que la généralisation compositionnelle est pilotée par la diversité des données, et non simplement par leur volume. Une couverture combinatoire accrue force les modèles à découvrir une structure de représentation factorisée linéairement, où les concepts se décomposent en composantes additives. Nous prouvons que cette structure est essentielle à l'efficacité, permettant une généralisation parfaite à partir de quelques combinaisons observées. En évaluant des modèles pré-entraînés (DINO, CLIP), nous observons des performances supérieures au hasard mais imparfaites, suggérant une présence partielle de cette structure. Notre travail plaide pour un accent plus fort sur la construction de jeux de données diversifiés pour la généralisation compositionnelle, et pour la prise en compte de l'importance de la structure de représentation qui permet un apprentissage compositionnel efficace. Le code est disponible à l'adresse suivante : https://github.com/oshapio/visual-compositional-generalization.

English

Compositional understanding is crucial for human intelligence, yet it remains unclear whether contemporary vision models exhibit it. The dominant machine learning paradigm is built on the premise that scaling data and model sizes will improve out-of-distribution performance, including compositional generalization. We test this premise through controlled experiments that systematically vary data scale, concept diversity, and combination coverage. We find that compositional generalization is driven by data diversity, not mere data scale. Increased combinatorial coverage forces models to discover a linearly factored representational structure, where concepts decompose into additive components. We prove this structure is key to efficiency, enabling perfect generalization from few observed combinations. Evaluating pretrained models (DINO, CLIP), we find above-random yet imperfect performance, suggesting partial presence of this structure. Our work motivates stronger emphasis on constructing diverse datasets for compositional generalization, and considering the importance of representational structure that enables efficient compositional learning. Code available at https://github.com/oshapio/visual-compositional-generalization.