A Escalonamento de Dados Conduz à Generalização Composicional Visual?

Does Data Scaling Lead to Visual Compositional Generalization?

July 9, 2025

Autores: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

cs.AI

Resumo

A compreensão composicional é crucial para a inteligência humana, mas ainda não está claro se os modelos de visão contemporâneos a exibem. O paradigma dominante de aprendizado de máquina é construído sobre a premissa de que escalar o tamanho dos dados e dos modelos melhorará o desempenho fora da distribuição, incluindo a generalização composicional. Testamos essa premissa por meio de experimentos controlados que variam sistematicamente a escala dos dados, a diversidade de conceitos e a cobertura combinatória. Descobrimos que a generalização composicional é impulsionada pela diversidade dos dados, e não apenas pela escala dos dados. O aumento da cobertura combinatória força os modelos a descobrir uma estrutura representacional fatorada linearmente, onde os conceitos se decompõem em componentes aditivos. Provamos que essa estrutura é fundamental para a eficiência, permitindo uma generalização perfeita a partir de poucas combinações observadas. Ao avaliar modelos pré-treinados (DINO, CLIP), encontramos desempenho acima do aleatório, mas imperfeito, sugerindo a presença parcial dessa estrutura. Nosso trabalho motiva uma ênfase maior na construção de conjuntos de dados diversos para generalização composicional e na consideração da importância da estrutura representacional que permite um aprendizado composicional eficiente. O código está disponível em https://github.com/oshapio/visual-compositional-generalization.

English

Compositional understanding is crucial for human intelligence, yet it remains unclear whether contemporary vision models exhibit it. The dominant machine learning paradigm is built on the premise that scaling data and model sizes will improve out-of-distribution performance, including compositional generalization. We test this premise through controlled experiments that systematically vary data scale, concept diversity, and combination coverage. We find that compositional generalization is driven by data diversity, not mere data scale. Increased combinatorial coverage forces models to discover a linearly factored representational structure, where concepts decompose into additive components. We prove this structure is key to efficiency, enabling perfect generalization from few observed combinations. Evaluating pretrained models (DINO, CLIP), we find above-random yet imperfect performance, suggesting partial presence of this structure. Our work motivates stronger emphasis on constructing diverse datasets for compositional generalization, and considering the importance of representational structure that enables efficient compositional learning. Code available at https://github.com/oshapio/visual-compositional-generalization.