Приводит ли масштабирование данных к визуальной композиционной обобщаемости?

Does Data Scaling Lead to Visual Compositional Generalization?

July 9, 2025

Авторы: Arnas Uselis, Andrea Dittadi, Seong Joon Oh

cs.AI

Аннотация

Понимание композиции имеет решающее значение для человеческого интеллекта, однако до сих пор неясно, обладают ли этим свойством современные модели компьютерного зрения. Доминирующая парадигма машинного обучения основана на предпосылке, что увеличение масштаба данных и размеров моделей улучшит их производительность на данных, выходящих за пределы обучающего распределения, включая композиционную обобщаемость. Мы проверяем эту гипотезу с помощью контролируемых экспериментов, в которых систематически варьируются масштаб данных, разнообразие концепций и охват комбинаций. Мы обнаруживаем, что композиционная обобщаемость определяется разнообразием данных, а не просто их объемом. Увеличение охвата комбинаций заставляет модели обнаруживать линейно факторизованную структуру представлений, в которой концепции разлагаются на аддитивные компоненты. Мы доказываем, что такая структура является ключом к эффективности, позволяя достичь идеального обобщения на основе небольшого числа наблюдаемых комбинаций. Оценивая предобученные модели (DINO, CLIP), мы наблюдаем производительность выше случайной, но не идеальную, что указывает на частичное наличие этой структуры. Наша работа подчеркивает важность создания разнообразных наборов данных для композиционной обобщаемости и учета значимости структуры представлений, которая обеспечивает эффективное композиционное обучение. Код доступен по адресу https://github.com/oshapio/visual-compositional-generalization.

English

Compositional understanding is crucial for human intelligence, yet it remains unclear whether contemporary vision models exhibit it. The dominant machine learning paradigm is built on the premise that scaling data and model sizes will improve out-of-distribution performance, including compositional generalization. We test this premise through controlled experiments that systematically vary data scale, concept diversity, and combination coverage. We find that compositional generalization is driven by data diversity, not mere data scale. Increased combinatorial coverage forces models to discover a linearly factored representational structure, where concepts decompose into additive components. We prove this structure is key to efficiency, enabling perfect generalization from few observed combinations. Evaluating pretrained models (DINO, CLIP), we find above-random yet imperfect performance, suggesting partial presence of this structure. Our work motivates stronger emphasis on constructing diverse datasets for compositional generalization, and considering the importance of representational structure that enables efficient compositional learning. Code available at https://github.com/oshapio/visual-compositional-generalization.