Veagle: Avanços na Aprendizagem de Representação Multimodal

Veagle: Advancements in Multimodal Representation Learning

January 18, 2024

Autores: Rajat Chawla, Arkajit Datta, Tushar Verma, Adarsh Jha, Anmol Gautam, Ayush Vatsal, Sukrit Chaterjee, Mukunda NS, Ishaan Bhola

cs.AI

Resumo

Recentemente, pesquisadores em inteligência artificial têm demonstrado grande interesse na convergência entre linguagem e visão, impulsionando o desenvolvimento de modelos multimodais que visam integrar de forma harmoniosa informações textuais e visuais. Esses modelos, uma extensão dos Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês), têm exibido capacidades notáveis ao abordar uma variedade de tarefas, desde a geração de legendas para imagens e respostas a perguntas visuais (VQA, na sigla em inglês) até o ancoramento visual. Embora esses modelos tenham demonstrado avanços significativos, desafios persistem na interpretação precisa de imagens e na resposta a perguntas, uma ocorrência comum em cenários do mundo real. Este artigo apresenta uma abordagem inovadora para aprimorar as capacidades multimodais dos modelos existentes. Em resposta às limitações observadas nos atuais Modelos de Linguagem Visual (VLMs, na sigla em inglês) e Modelos Multimodais de Linguagem de Grande Escala (MLLMs, na sigla em inglês), nosso modelo proposto, Veagle, incorpora um mecanismo único inspirado nos sucessos e insights de trabalhos anteriores. O Veagle utiliza um mecanismo dinâmico para projetar informações visuais codificadas diretamente no modelo de linguagem. Essa abordagem dinâmica permite uma compreensão mais detalhada dos aspectos intrincados presentes em contextos visuais. Para validar a eficácia do Veagle, realizamos experimentos abrangentes em conjuntos de dados de referência, com ênfase em tarefas como respostas a perguntas visuais e compreensão de imagens. Nossos resultados indicam uma melhoria de 5-6% no desempenho, com o Veagle superando os modelos existentes por uma margem significativa. Os resultados destacam a versatilidade e a aplicabilidade do modelo além dos benchmarks tradicionais.

English

Lately, researchers in artificial intelligence have been really interested in how language and vision come together, giving rise to the development of multimodal models that aim to seamlessly integrate textual and visual information. Multimodal models, an extension of Large Language Models (LLMs), have exhibited remarkable capabilities in addressing a diverse array of tasks, ranging from image captioning and visual question answering (VQA) to visual grounding. While these models have showcased significant advancements, challenges persist in accurately interpreting images and answering the question, a common occurrence in real-world scenarios. This paper introduces a novel approach to enhance the multimodal capabilities of existing models. In response to the limitations observed in current Vision Language Models (VLMs) and Multimodal Large Language Models (MLLMs), our proposed model Veagle, incorporates a unique mechanism inspired by the successes and insights of previous works. Veagle leverages a dynamic mechanism to project encoded visual information directly into the language model. This dynamic approach allows for a more nuanced understanding of intricate details present in visual contexts. To validate the effectiveness of Veagle, we conduct comprehensive experiments on benchmark datasets, emphasizing tasks such as visual question answering and image understanding. Our results indicate a improvement of 5-6 \% in performance, with Veagle outperforming existing models by a notable margin. The outcomes underscore the model's versatility and applicability beyond traditional benchmarks.