Euclid: Multimodale LLMs mit synthetischen hochwertigen visuellen Beschreibungen optimieren

Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions

December 11, 2024

Autoren: Jiarui Zhang, Ollie Liu, Tianyu Yu, Jinyi Hu, Willie Neiswanger

cs.AI

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) haben in den letzten Jahren rasche Fortschritte gemacht, kämpfen jedoch weiterhin mit der niederstufigen visuellen Wahrnehmung (LLVP) – insbesondere mit der Fähigkeit, die geometrischen Details eines Bildes genau zu beschreiben. Diese Fähigkeit ist entscheidend für Anwendungen in Bereichen wie Robotik, medizinische Bildanalyse und Fertigung. In diesem Artikel stellen wir zunächst Geoperception vor, einen Benchmark, der entwickelt wurde, um die Fähigkeit eines MLLMs zu bewerten, 2D-geometrische Informationen genau aus einem Bild zu transkribieren. Unter Verwendung dieses Benchmarks zeigen wir die Grenzen führender MLLMs auf und führen dann eine umfassende empirische Studie durch, um Strategien zur Verbesserung ihrer Leistung bei geometrischen Aufgaben zu erforschen. Unsere Ergebnisse heben die Vorteile bestimmter Modellarchitekturen, Trainingsmethoden und Datenstrategien hervor, einschließlich der Verwendung hochwertiger synthetischer Daten und eines mehrstufigen Trainings mit einem Datenlehrplan. Bemerkenswert ist, dass ein Datenlehrplan es Modellen ermöglicht, anspruchsvolle geometrische Verständnisaufgaben zu erlernen, die sie nicht von Grund auf lernen können. Unter Nutzung dieser Erkenntnisse entwickeln wir Euclid, eine Modellfamilie, die speziell für eine starke niederstufige geometrische Wahrnehmung optimiert ist. Obwohl rein auf synthetischen multimodalen Daten trainiert, zeigt Euclid eine starke Verallgemeinerungsfähigkeit für neue geometrische Formen. Zum Beispiel übertrifft Euclid das beste Closed-Source-Modell, Gemini-1.5-Pro, bei bestimmten Geoperception-Benchmark-Aufgaben um bis zu 58,56 % und im Durchschnitt um 10,65 % bei allen Aufgaben.

English

Multimodal large language models (MLLMs) have made rapid progress in recent years, yet continue to struggle with low-level visual perception (LLVP) -- particularly the ability to accurately describe the geometric details of an image. This capability is crucial for applications in areas such as robotics, medical image analysis, and manufacturing. In this paper, we first introduce Geoperception, a benchmark designed to evaluate an MLLM's ability to accurately transcribe 2D geometric information from an image. Using this benchmark, we demonstrate the limitations of leading MLLMs, and then conduct a comprehensive empirical study to explore strategies for improving their performance on geometric tasks. Our findings highlight the benefits of certain model architectures, training techniques, and data strategies, including the use of high-fidelity synthetic data and multi-stage training with a data curriculum. Notably, we find that a data curriculum enables models to learn challenging geometry understanding tasks which they fail to learn from scratch. Leveraging these insights, we develop Euclid, a family of models specifically optimized for strong low-level geometric perception. Although purely trained on synthetic multimodal data, Euclid shows strong generalization ability to novel geometry shapes. For instance, Euclid outperforms the best closed-source model, Gemini-1.5-Pro, by up to 58.56% on certain Geoperception benchmark tasks and 10.65% on average across all tasks.