Euclid: Potenciando LLMs Multimodales con Descripciones Visuales Sintéticas de Alta Fidelidad

Euclid: Supercharging Multimodal LLMs with Synthetic High-Fidelity Visual Descriptions

December 11, 2024

Autores: Jiarui Zhang, Ollie Liu, Tianyu Yu, Jinyi Hu, Willie Neiswanger

cs.AI

Resumen

Los modelos de lenguaje multimodales grandes (MLLMs) han avanzado rápidamente en los últimos años, pero siguen teniendo dificultades con la percepción visual de bajo nivel (LLVP), en particular con la capacidad de describir con precisión los detalles geométricos de una imagen. Esta capacidad es crucial para aplicaciones en áreas como la robótica, el análisis de imágenes médicas y la fabricación. En este documento, primero presentamos Geopercepción, un banco de pruebas diseñado para evaluar la capacidad de un MLLM para transcribir con precisión información geométrica 2D de una imagen. Utilizando este banco de pruebas, demostramos las limitaciones de los principales MLLMs, y luego realizamos un estudio empírico exhaustivo para explorar estrategias para mejorar su rendimiento en tareas geométricas. Nuestros hallazgos resaltan los beneficios de ciertas arquitecturas de modelos, técnicas de entrenamiento y estrategias de datos, incluido el uso de datos sintéticos de alta fidelidad y entrenamiento en múltiples etapas con un plan de estudios de datos. Notablemente, encontramos que un plan de estudios de datos permite a los modelos aprender tareas desafiantes de comprensión de geometría que no logran aprender desde cero. Aprovechando estos conocimientos, desarrollamos Euclides, una familia de modelos optimizados específicamente para una sólida percepción geométrica de bajo nivel. Aunque entrenado exclusivamente con datos multimodales sintéticos, Euclides muestra una sólida capacidad de generalización a formas geométricas novedosas. Por ejemplo, Euclides supera al mejor modelo de código cerrado, Gemini-1.5-Pro, hasta en un 58.56% en ciertas tareas del banco de pruebas de Geopercepción y un 10.65% en promedio en todas las tareas.

English

Multimodal large language models (MLLMs) have made rapid progress in recent years, yet continue to struggle with low-level visual perception (LLVP) -- particularly the ability to accurately describe the geometric details of an image. This capability is crucial for applications in areas such as robotics, medical image analysis, and manufacturing. In this paper, we first introduce Geoperception, a benchmark designed to evaluate an MLLM's ability to accurately transcribe 2D geometric information from an image. Using this benchmark, we demonstrate the limitations of leading MLLMs, and then conduct a comprehensive empirical study to explore strategies for improving their performance on geometric tasks. Our findings highlight the benefits of certain model architectures, training techniques, and data strategies, including the use of high-fidelity synthetic data and multi-stage training with a data curriculum. Notably, we find that a data curriculum enables models to learn challenging geometry understanding tasks which they fail to learn from scratch. Leveraging these insights, we develop Euclid, a family of models specifically optimized for strong low-level geometric perception. Although purely trained on synthetic multimodal data, Euclid shows strong generalization ability to novel geometry shapes. For instance, Euclid outperforms the best closed-source model, Gemini-1.5-Pro, by up to 58.56% on certain Geoperception benchmark tasks and 10.65% on average across all tasks.