Euclid: Het versterken van multimodale LLM's met synthetische visuele beschrijvingen met hoge nauwkeurigheid.

Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions

December 11, 2024

Auteurs: Jiarui Zhang, Ollie Liu, Tianyu Yu, Jinyi Hu, Willie Neiswanger

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLM's) hebben de afgelopen jaren snelle vooruitgang geboekt, maar blijven worstelen met laag-niveau visuele perceptie (LLVP) - met name het vermogen om de geometrische details van een afbeelding nauwkeurig te beschrijven. Deze capaciteit is cruciaal voor toepassingen op gebieden zoals robotica, medische beeldanalyse en productie. In dit artikel introduceren we eerst Geoperception, een benchmark ontworpen om de mogelijkheid van een MLLM om nauwkeurig 2D-geometrische informatie van een afbeelding over te nemen, te evalueren. Met behulp van deze benchmark tonen we de beperkingen van toonaangevende MLLM's aan, en voeren vervolgens een uitgebreide empirische studie uit om strategieën te verkennen voor het verbeteren van hun prestaties op geometrische taken. Onze bevindingen benadrukken de voordelen van bepaalde modelarchitecturen, trainingsmethoden en gegevensstrategieën, inclusief het gebruik van hoogwaardige synthetische gegevens en meertraps training met een gegevenscurriculum. Opmerkelijk is dat we constateren dat een gegevenscurriculum modellen in staat stelt uitdagende geometrie begripstaken te leren die ze niet vanaf nul kunnen leren. Door gebruik te maken van deze inzichten ontwikkelen we Euclid, een familie van modellen die specifiek zijn geoptimaliseerd voor sterke laag-niveau geometrische perceptie. Hoewel puur getraind op synthetische multimodale gegevens, toont Euclid een sterke generalisatiecapaciteit naar nieuwe geometrische vormen. Zo presteert Euclid beter dan het beste gesloten-bronmodel, Gemini-1.5-Pro, met maximaal 58,56% op bepaalde Geoperception benchmarktaken en gemiddeld 10,65% op alle taken.

English

Multimodal large language models (MLLMs) have made rapid progress in recent years, yet continue to struggle with low-level visual perception (LLVP) -- particularly the ability to accurately describe the geometric details of an image. This capability is crucial for applications in areas such as robotics, medical image analysis, and manufacturing. In this paper, we first introduce Geoperception, a benchmark designed to evaluate an MLLM's ability to accurately transcribe 2D geometric information from an image. Using this benchmark, we demonstrate the limitations of leading MLLMs, and then conduct a comprehensive empirical study to explore strategies for improving their performance on geometric tasks. Our findings highlight the benefits of certain model architectures, training techniques, and data strategies, including the use of high-fidelity synthetic data and multi-stage training with a data curriculum. Notably, we find that a data curriculum enables models to learn challenging geometry understanding tasks which they fail to learn from scratch. Leveraging these insights, we develop Euclid, a family of models specifically optimized for strong low-level geometric perception. Although purely trained on synthetic multimodal data, Euclid shows strong generalization ability to novel geometry shapes. For instance, Euclid outperforms the best closed-source model, Gemini-1.5-Pro, by up to 58.56% on certain Geoperception benchmark tasks and 10.65% on average across all tasks.