Euclid : Augmenter les LLM multimodaux avec des descriptions visuelles synthétiques haute fidélité

Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions

December 11, 2024

Auteurs: Jiarui Zhang, Ollie Liu, Tianyu Yu, Jinyi Hu, Willie Neiswanger

cs.AI

Résumé

Les grands modèles de langage multimodaux (MLLM) ont connu des progrès rapides ces dernières années, mais continuent de rencontrer des difficultés en perception visuelle de bas niveau (LLVP) - en particulier en ce qui concerne la capacité à décrire avec précision les détails géométriques d'une image. Cette capacité est cruciale pour des applications dans des domaines tels que la robotique, l'analyse d'images médicales et la fabrication. Dans cet article, nous introduisons d'abord Geoperception, une référence conçue pour évaluer la capacité d'un MLLM à retranscrire avec précision des informations géométriques 2D à partir d'une image. En utilisant cette référence, nous démontrons les limites des principaux MLLMs, puis menons une étude empirique approfondie pour explorer des stratégies visant à améliorer leurs performances sur des tâches géométriques. Nos résultats mettent en lumière les avantages de certaines architectures de modèles, techniques d'entraînement et stratégies de données, notamment l'utilisation de données synthétiques haute fidélité et d'un entraînement multi-étapes avec un programme de données. Notamment, nous constatons qu'un programme de données permet aux modèles d'apprendre des tâches complexes de compréhension de la géométrie qu'ils échouent à apprendre à partir de zéro. En exploitant ces enseignements, nous développons Euclide, une famille de modèles spécifiquement optimisés pour une forte perception géométrique de bas niveau. Bien que purement entraîné sur des données multimodales synthétiques, Euclide montre une forte capacité de généralisation à des formes géométriques nouvelles. Par exemple, Euclide surpasse le meilleur modèle propriétaire, Gemini-1.5-Pro, jusqu'à 58,56% sur certaines tâches de référence Geoperception et de 10,65% en moyenne sur l'ensemble des tâches.

English

Multimodal large language models (MLLMs) have made rapid progress in recent years, yet continue to struggle with low-level visual perception (LLVP) -- particularly the ability to accurately describe the geometric details of an image. This capability is crucial for applications in areas such as robotics, medical image analysis, and manufacturing. In this paper, we first introduce Geoperception, a benchmark designed to evaluate an MLLM's ability to accurately transcribe 2D geometric information from an image. Using this benchmark, we demonstrate the limitations of leading MLLMs, and then conduct a comprehensive empirical study to explore strategies for improving their performance on geometric tasks. Our findings highlight the benefits of certain model architectures, training techniques, and data strategies, including the use of high-fidelity synthetic data and multi-stage training with a data curriculum. Notably, we find that a data curriculum enables models to learn challenging geometry understanding tasks which they fail to learn from scratch. Leveraging these insights, we develop Euclid, a family of models specifically optimized for strong low-level geometric perception. Although purely trained on synthetic multimodal data, Euclid shows strong generalization ability to novel geometry shapes. For instance, Euclid outperforms the best closed-source model, Gemini-1.5-Pro, by up to 58.56% on certain Geoperception benchmark tasks and 10.65% on average across all tasks.