Измерение прогресса в детализированном понимании визуальной и языковой информации

Measuring Progress in Fine-grained Vision-and-Language Understanding

May 12, 2023

Авторы: Emanuele Bugliarello, Laurent Sartran, Aishwarya Agrawal, Lisa Anne Hendricks, Aida Nematzadeh

cs.AI

Аннотация

Хотя предварительное обучение на крупномасштабных данных изображений и текстов из Интернета способствовало быстрому прогрессу во многих задачах, связанных с обработкой зрения и языка (V&L), недавние исследования показали, что предобученные модели испытывают недостаток в "тонком" понимании, таком как способность распознавать отношения, глаголы и числа на изображениях. Это привело к возросшему интересу в сообществе к разработке новых эталонных тестов или моделей для таких возможностей. Чтобы лучше понять и количественно оценить прогресс в этом направлении, мы исследуем четыре конкурентоспособные модели V&L на четырех эталонных тестах, ориентированных на тонкое понимание. Наш анализ показывает, что модель X-VLM (Zeng et al., 2022) стабильно превосходит другие базовые подходы, а инновации в архитектуре модели могут оказывать большее влияние на производительность, чем масштабирование веб-данных, которое иногда даже ухудшает результаты. Более глубокое исследование X-VLM подчеркивает важность как новых функций потерь, так и богатых источников данных для обучения тонким навыкам. Наконец, мы изучаем динамику обучения и обнаруживаем, что для некоторых задач производительность достигает пика на ранних этапах обучения или значительно колеблется, никогда не сходясь к устойчивому результату.

English

While pretraining on large-scale image-text data from the Web has facilitated rapid progress on many vision-and-language (V&L) tasks, recent work has demonstrated that pretrained models lack "fine-grained" understanding, such as the ability to recognise relationships, verbs, and numbers in images. This has resulted in an increased interest in the community to either develop new benchmarks or models for such capabilities. To better understand and quantify progress in this direction, we investigate four competitive V&L models on four fine-grained benchmarks. Through our analysis, we find that X-VLM (Zeng et al., 2022) consistently outperforms other baselines, and that modelling innovations can impact performance more than scaling Web data, which even degrades performance sometimes. Through a deeper investigation of X-VLM, we highlight the importance of both novel losses and rich data sources for learning fine-grained skills. Finally, we inspect training dynamics, and discover that for some tasks, performance peaks early in training or significantly fluctuates, never converging.