SymDPO: Impulsando el Aprendizaje en Contexto de Modelos Multimodales Grandes con Optimización de Preferencia Directa de Demostración de Símbolos

SymDPO: Boosting In-Context Learning of Large Multimodal Models with Symbol Demonstration Direct Preference Optimization

November 17, 2024

Autores: Hongrui Jia, Chaoya Jiang, Haiyang Xu, Wei Ye, Mengfan Dong, Ming Yan, Ji Zhang, Fei Huang, Shikun Zhang

cs.AI

Resumen

A medida que los modelos de lenguaje continúan escalando, los Modelos de Lenguaje Grandes (LLMs) han mostrado capacidades emergentes en Aprendizaje en Contexto (ICL), lo que les permite resolver tareas de lenguaje prefijando algunas demostraciones en contexto (ICDs) como contexto. Inspirados por estos avances, los investigadores han extendido estas técnicas para desarrollar Modelos Multimodales Grandes (LMMs) con capacidades de ICL. Sin embargo, los LMMs existentes enfrentan un problema crítico: a menudo no logran aprovechar de manera efectiva el contexto visual en las demostraciones multimodales y en su lugar simplemente siguen patrones textuales. Esto indica que los LMMs no logran una alineación efectiva entre las demostraciones multimodales y las salidas del modelo. Para abordar este problema, proponemos la Optimización Directa de Preferencia de Demostración de Símbolos (SymDPO). Específicamente, SymDPO tiene como objetivo romper el paradigma tradicional de construir demostraciones multimodales mediante el uso de símbolos aleatorios para reemplazar respuestas de texto dentro de las instancias. Esto obliga al modelo a comprender cuidadosamente las imágenes de la demostración y establecer una relación entre las imágenes y los símbolos para responder correctamente a las preguntas. Validamos la efectividad de este método en múltiples pruebas, demostrando que con SymDPO, los LMMs pueden entender de manera más efectiva el contexto multimodal dentro de los ejemplos y utilizar este conocimiento para responder mejor a las preguntas.

English

As language models continue to scale, Large Language Models (LLMs) have exhibited emerging capabilities in In-Context Learning (ICL), enabling them to solve language tasks by prefixing a few in-context demonstrations (ICDs) as context. Inspired by these advancements, researchers have extended these techniques to develop Large Multimodal Models (LMMs) with ICL capabilities. However, existing LMMs face a critical issue: they often fail to effectively leverage the visual context in multimodal demonstrations and instead simply follow textual patterns. This indicates that LMMs do not achieve effective alignment between multimodal demonstrations and model outputs. To address this problem, we propose Symbol Demonstration Direct Preference Optimization (SymDPO). Specifically, SymDPO aims to break the traditional paradigm of constructing multimodal demonstrations by using random symbols to replace text answers within instances. This forces the model to carefully understand the demonstration images and establish a relationship between the images and the symbols to answer questions correctly. We validate the effectiveness of this method on multiple benchmarks, demonstrating that with SymDPO, LMMs can more effectively understand the multimodal context within examples and utilize this knowledge to answer questions better.