Veagle : Progrès dans l'apprentissage de représentations multimodales

Veagle: Advancements in Multimodal Representation Learning

January 18, 2024

Auteurs: Rajat Chawla, Arkajit Datta, Tushar Verma, Adarsh Jha, Anmol Gautam, Ayush Vatsal, Sukrit Chaterjee, Mukunda NS, Ishaan Bhola

cs.AI

Résumé

Récemment, les chercheurs en intelligence artificielle se sont fortement intéressés à la convergence entre le langage et la vision, ce qui a conduit au développement de modèles multimodaux visant à intégrer de manière fluide les informations textuelles et visuelles. Les modèles multimodaux, une extension des modèles de langage de grande taille (LLMs), ont démontré des capacités remarquables pour résoudre une diversité de tâches, allant de la génération de légendes d'images et de la réponse à des questions visuelles (VQA) à l'ancrage visuel. Bien que ces modèles aient montré des avancées significatives, des défis persistent dans l'interprétation précise des images et la réponse aux questions, une situation courante dans des scénarios réels. Cet article présente une nouvelle approche pour améliorer les capacités multimodales des modèles existants. En réponse aux limitations observées dans les modèles actuels de langage visuel (VLMs) et les modèles de langage multimodaux de grande taille (MLLMs), notre modèle proposé, Veagle, intègre un mécanisme unique inspiré des succès et des enseignements des travaux précédents. Veagle exploite un mécanisme dynamique pour projeter directement les informations visuelles encodées dans le modèle de langage. Cette approche dynamique permet une compréhension plus nuancée des détails complexes présents dans les contextes visuels. Pour valider l'efficacité de Veagle, nous avons mené des expériences approfondies sur des ensembles de données de référence, en mettant l'accent sur des tâches telles que la réponse à des questions visuelles et la compréhension d'images. Nos résultats indiquent une amélioration de 5 à 6 % des performances, avec Veagle surpassant les modèles existants de manière notable. Les résultats soulignent la polyvalence et l'applicabilité du modèle au-delà des benchmarks traditionnels.

English

Lately, researchers in artificial intelligence have been really interested in how language and vision come together, giving rise to the development of multimodal models that aim to seamlessly integrate textual and visual information. Multimodal models, an extension of Large Language Models (LLMs), have exhibited remarkable capabilities in addressing a diverse array of tasks, ranging from image captioning and visual question answering (VQA) to visual grounding. While these models have showcased significant advancements, challenges persist in accurately interpreting images and answering the question, a common occurrence in real-world scenarios. This paper introduces a novel approach to enhance the multimodal capabilities of existing models. In response to the limitations observed in current Vision Language Models (VLMs) and Multimodal Large Language Models (MLLMs), our proposed model Veagle, incorporates a unique mechanism inspired by the successes and insights of previous works. Veagle leverages a dynamic mechanism to project encoded visual information directly into the language model. This dynamic approach allows for a more nuanced understanding of intricate details present in visual contexts. To validate the effectiveness of Veagle, we conduct comprehensive experiments on benchmark datasets, emphasizing tasks such as visual question answering and image understanding. Our results indicate a improvement of 5-6 \% in performance, with Veagle outperforming existing models by a notable margin. The outcomes underscore the model's versatility and applicability beyond traditional benchmarks.