Molmo y PixMo: Pesos Abiertos y Datos Abiertos para Modelos Multimodales de Última Generación

Molmo and PixMo: Open Weights and Open Data for State-of-the-Art Multimodal Models

September 25, 2024

Autores: Matt Deitke, Christopher Clark, Sangho Lee, Rohun Tripathi, Yue Yang, Jae Sung Park, Mohammadreza Salehi, Niklas Muennighoff, Kyle Lo, Luca Soldaini, Jiasen Lu, Taira Anderson, Erin Bransom, Kiana Ehsani, Huong Ngo, YenSung Chen, Ajay Patel, Mark Yatskar, Chris Callison-Burch, Andrew Head, Rose Hendrix, Favyen Bastani, Eli VanderBilt, Nathan Lambert, Yvonne Chou, Arnavi Chheda, Jenna Sparks, Sam Skjonsberg, Michael Schmitz, Aaron Sarnat, Byron Bischoff, Pete Walsh, Chris Newell, Piper Wolters, Tanmay Gupta, Kuo-Hao Zeng, Jon Borchardt, Dirk Groeneveld, Jen Dumas, Crystal Nam, Sophie Lebrecht, Caitlin Wittlif, Carissa Schoenick, Oscar Michel, Ranjay Krishna, Luca Weihs, Noah A. Smith, Hannaneh Hajishirzi, Ross Girshick, Ali Farhadi, Aniruddha Kembhavi

cs.AI

Resumen

Los modelos multimodales más avanzados de hoy en día siguen siendo propietarios. Los modelos de peso abierto más sólidos dependen en gran medida de datos sintéticos de VLMs propietarios para lograr un buen rendimiento, destilando eficazmente estos modelos cerrados en modelos abiertos. Como resultado, la comunidad todavía carece de conocimientos fundamentales sobre cómo construir VLMs eficientes desde cero. Presentamos Molmo, una nueva familia de VLMs que son de última generación en su clase de apertura. Nuestra innovación clave es un nuevo conjunto de datos de subtítulos de imágenes altamente detallado recopilado completamente por anotadores humanos utilizando descripciones basadas en voz. Para permitir una amplia gama de interacciones de usuario, también introducimos una mezcla diversa de conjuntos de datos para el ajuste fino que incluye preguntas y respuestas en entornos naturales y datos innovadores de punteo 2D. El éxito de nuestro enfoque se basa en elecciones cuidadosas para los detalles de la arquitectura del modelo, un proceso de entrenamiento bien ajustado y, lo más crítico, la calidad de nuestros conjuntos de datos recién recopilados, todos los cuales serán publicados. El modelo de 72B de primera clase dentro de la familia Molmo no solo supera a otros en la clase de modelos abiertos de peso y datos, sino que también se compara favorablemente con sistemas propietarios como GPT-4o, Claude 3.5 y Gemini 1.5 tanto en pruebas académicas como en evaluaciones humanas. Próximamente publicaremos todos los pesos de nuestro modelo, datos de subtítulos y ajuste fino, y código fuente. Algunos pesos de modelo seleccionados, código de inferencia y demostración están disponibles en https://molmo.allenai.org.

English

Today's most advanced multimodal models remain proprietary. The strongest open-weight models rely heavily on synthetic data from proprietary VLMs to achieve good performance, effectively distilling these closed models into open ones. As a result, the community is still missing foundational knowledge about how to build performant VLMs from scratch. We present Molmo, a new family of VLMs that are state-of-the-art in their class of openness. Our key innovation is a novel, highly detailed image caption dataset collected entirely from human annotators using speech-based descriptions. To enable a wide array of user interactions, we also introduce a diverse dataset mixture for fine-tuning that includes in-the-wild Q&A and innovative 2D pointing data. The success of our approach relies on careful choices for the model architecture details, a well-tuned training pipeline, and, most critically, the quality of our newly collected datasets, all of which will be released. The best-in-class 72B model within the Molmo family not only outperforms others in the class of open weight and data models but also compares favorably against proprietary systems like GPT-4o, Claude 3.5, and Gemini 1.5 on both academic benchmarks and human evaluation. We will be releasing all of our model weights, captioning and fine-tuning data, and source code in the near future. Select model weights, inference code, and demo are available at https://molmo.allenai.org.