Veagle: Avances en el aprendizaje de representaciones multimodales

Veagle: Advancements in Multimodal Representation Learning

January 18, 2024

Autores: Rajat Chawla, Arkajit Datta, Tushar Verma, Adarsh Jha, Anmol Gautam, Ayush Vatsal, Sukrit Chaterjee, Mukunda NS, Ishaan Bhola

cs.AI

Resumen

Recientemente, los investigadores en inteligencia artificial han mostrado un gran interés en cómo convergen el lenguaje y la visión, lo que ha dado lugar al desarrollo de modelos multimodales que buscan integrar de manera fluida la información textual y visual. Los modelos multimodales, una extensión de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), han demostrado capacidades notables para abordar una amplia gama de tareas, desde la generación de descripciones de imágenes y la respuesta a preguntas visuales (VQA, por sus siglas en inglés) hasta la localización visual. Aunque estos modelos han mostrado avances significativos, persisten desafíos en la interpretación precisa de imágenes y en la respuesta a preguntas, una situación común en escenarios del mundo real. Este artículo presenta un enfoque novedoso para mejorar las capacidades multimodales de los modelos existentes. En respuesta a las limitaciones observadas en los Modelos de Lenguaje Visual (VLMs, por sus siglas en inglés) y los Modelos Multimodales de Lenguaje de Gran Escala (MLLMs, por sus siglas en inglés), nuestro modelo propuesto, Veagle, incorpora un mecanismo único inspirado en los éxitos y conocimientos de trabajos previos. Veagle aprovecha un mecanismo dinámico para proyectar la información visual codificada directamente en el modelo de lenguaje. Este enfoque dinámico permite una comprensión más matizada de los detalles intrincados presentes en contextos visuales. Para validar la efectividad de Veagle, realizamos experimentos exhaustivos en conjuntos de datos de referencia, enfatizando tareas como la respuesta a preguntas visuales y la comprensión de imágenes. Nuestros resultados indican una mejora del 5-6 \% en el rendimiento, con Veagle superando a los modelos existentes por un margen notable. Los resultados subrayan la versatilidad y aplicabilidad del modelo más allá de los puntos de referencia tradicionales.

English

Lately, researchers in artificial intelligence have been really interested in how language and vision come together, giving rise to the development of multimodal models that aim to seamlessly integrate textual and visual information. Multimodal models, an extension of Large Language Models (LLMs), have exhibited remarkable capabilities in addressing a diverse array of tasks, ranging from image captioning and visual question answering (VQA) to visual grounding. While these models have showcased significant advancements, challenges persist in accurately interpreting images and answering the question, a common occurrence in real-world scenarios. This paper introduces a novel approach to enhance the multimodal capabilities of existing models. In response to the limitations observed in current Vision Language Models (VLMs) and Multimodal Large Language Models (MLLMs), our proposed model Veagle, incorporates a unique mechanism inspired by the successes and insights of previous works. Veagle leverages a dynamic mechanism to project encoded visual information directly into the language model. This dynamic approach allows for a more nuanced understanding of intricate details present in visual contexts. To validate the effectiveness of Veagle, we conduct comprehensive experiments on benchmark datasets, emphasizing tasks such as visual question answering and image understanding. Our results indicate a improvement of 5-6 \% in performance, with Veagle outperforming existing models by a notable margin. The outcomes underscore the model's versatility and applicability beyond traditional benchmarks.