Img-Diff: Síntesis de Datos Contrastivos para Modelos de Lenguaje Multimodales de Gran Escala

Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models

August 8, 2024

Autores: Qirui Jiao, Daoyuan Chen, Yilun Huang, Yaliang Li, Ying Shen

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Rendimiento (MLLMs) dependen en gran medida de la calidad de los datos. Este estudio presenta un nuevo conjunto de datos llamado Img-Diff, diseñado para mejorar el reconocimiento de imágenes detallado en MLLMs aprovechando ideas del aprendizaje contrastivo y la descripción de diferencias de imágenes. Al analizar las diferencias de objetos entre imágenes similares, desafiamos a los modelos a identificar tanto componentes coincidentes como distintos. Utilizamos el modelo Stable-Diffusion-XL y técnicas avanzadas de edición de imágenes para crear pares de imágenes similares que resalten reemplazos de objetos. Nuestra metodología incluye un Generador de Área de Diferencias para identificar diferencias de objetos, seguido por un Generador de Subtítulos de Diferencias para descripciones detalladas de las diferencias. El resultado es un conjunto de datos relativamente pequeño pero de alta calidad de muestras de "reemplazo de objetos". Utilizamos este conjunto de datos propuesto para ajustar finamente MLLMs de última generación como MGM-7B, obteniendo mejoras integrales en los puntajes de rendimiento sobre modelos de última generación entrenados con conjuntos de datos a mayor escala, en numerosas tareas de diferencia de imágenes y de Respuestas a Preguntas Visuales. Por ejemplo, nuestros modelos entrenados superan notablemente a los modelos de última generación GPT-4V y Gemini en la prueba MMVP. Además, investigamos métodos alternativos para generar datos de diferencia de imágenes a través de "eliminación de objetos" y realizamos una evaluación exhaustiva para confirmar la diversidad, calidad y robustez del conjunto de datos, presentando varias ideas sobre la síntesis de dicho conjunto de datos contrastivo. Para fomentar más investigaciones y avanzar en el campo de la síntesis de datos multimodales y la mejora de las capacidades fundamentales de los MLLMs para la comprensión de imágenes, publicamos nuestros códigos y conjunto de datos en https://github.com/modelscope/data-juicer/tree/ImgDiff.

English

High-performance Multimodal Large Language Models (MLLMs) rely heavily on data quality. This study introduces a novel dataset named Img-Diff, designed to enhance fine-grained image recognition in MLLMs by leveraging insights from contrastive learning and image difference captioning. By analyzing object differences between similar images, we challenge models to identify both matching and distinct components. We utilize the Stable-Diffusion-XL model and advanced image editing techniques to create pairs of similar images that highlight object replacements. Our methodology includes a Difference Area Generator for object differences identifying, followed by a Difference Captions Generator for detailed difference descriptions. The result is a relatively small but high-quality dataset of "object replacement" samples. We use the the proposed dataset to fine-tune state-of-the-art (SOTA) MLLMs such as MGM-7B, yielding comprehensive improvements of performance scores over SOTA models that trained with larger-scale datasets, in numerous image difference and Visual Question Answering tasks. For instance, our trained models notably surpass the SOTA models GPT-4V and Gemini on the MMVP benchmark. Besides, we investigate alternative methods for generating image difference data through "object removal" and conduct thorough evaluation to confirm the dataset's diversity, quality, and robustness, presenting several insights on synthesis of such contrastive dataset. To encourage further research and advance the field of multimodal data synthesis and enhancement of MLLMs' fundamental capabilities for image understanding, we release our codes and dataset at https://github.com/modelscope/data-juicer/tree/ImgDiff.