Евклид: Усиление мультимодальных LLM с синтетическими высококачественными визуальными описаниями.

Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions

December 11, 2024

Авторы: Jiarui Zhang, Ollie Liu, Tianyu Yu, Jinyi Hu, Willie Neiswanger

cs.AI

Аннотация

Многомодельные модели языка большого объема (MLLM) продемонстрировали быстрый прогресс в последние годы, однако продолжают испытывать трудности с низкоуровневым визуальным восприятием (LLVP) - особенно с точностью описания геометрических деталей изображения. Эта способность критически важна для применения в областях, таких как робототехника, медицинский анализ изображений и производство. В данной статье мы в первую очередь представляем Geoperception - бенчмарк, разработанный для оценки способности MLLM точно транскрибировать 2D геометрическую информацию изображения. Используя этот бенчмарк, мы демонстрируем ограничения ведущих MLLM, а затем проводим всестороннее эмпирическое исследование для изучения стратегий улучшения их производительности на геометрических задачах. Наши результаты подчеркивают преимущества определенных архитектур моделей, методов обучения и стратегий работы с данными, включая использование высококачественных синтетических данных и многоступенчатое обучение с учебным планом. Особенно мы обнаружили, что учебный план позволяет моделям изучать сложные задачи понимания геометрии, которые им не удается выучить с нуля. Используя эти находки, мы разрабатываем Euclid - семейство моделей, специально оптимизированных для сильного низкоуровневого геометрического восприятия. Хотя Euclid обучен исключительно на синтетических многомодальных данных, он проявляет сильные способности к обобщению на новые геометрические формы. Например, Euclid превосходит лучшую модель закрытого исходного кода, Gemini-1.5-Pro, на до 58,56% по некоторым задачам бенчмарка Geoperception и в среднем на 10,65% по всем задачам.

English

Multimodal large language models (MLLMs) have made rapid progress in recent years, yet continue to struggle with low-level visual perception (LLVP) -- particularly the ability to accurately describe the geometric details of an image. This capability is crucial for applications in areas such as robotics, medical image analysis, and manufacturing. In this paper, we first introduce Geoperception, a benchmark designed to evaluate an MLLM's ability to accurately transcribe 2D geometric information from an image. Using this benchmark, we demonstrate the limitations of leading MLLMs, and then conduct a comprehensive empirical study to explore strategies for improving their performance on geometric tasks. Our findings highlight the benefits of certain model architectures, training techniques, and data strategies, including the use of high-fidelity synthetic data and multi-stage training with a data curriculum. Notably, we find that a data curriculum enables models to learn challenging geometry understanding tasks which they fail to learn from scratch. Leveraging these insights, we develop Euclid, a family of models specifically optimized for strong low-level geometric perception. Although purely trained on synthetic multimodal data, Euclid shows strong generalization ability to novel geometry shapes. For instance, Euclid outperforms the best closed-source model, Gemini-1.5-Pro, by up to 58.56% on certain Geoperception benchmark tasks and 10.65% on average across all tasks.