MARVIS: Raciocínio Adaptativo à Modalidade sobre Visualizações

MARVIS: Modality Adaptive Reasoning over VISualizations

July 2, 2025

Autores: Benjamin Feuer, Lennart Purucker, Oussama Elachqar, Chinmay Hegde

cs.AI

Resumo

Aplicações científicas de aprendizado de máquina frequentemente dependem de modelos pequenos e especializados, ajustados para domínios específicos. Esses modelos geralmente alcançam excelente desempenho, mas carecem de flexibilidade. Modelos de base oferecem versatilidade, mas tipicamente têm desempenho inferior às abordagens especializadas, especialmente em modalidades não tradicionais e domínios de cauda longa. Propomos o MARVIS (Modality Adaptive Reasoning over VISualizations), um método sem treinamento que permite até mesmo pequenos modelos de visão e linguagem prever qualquer modalidade de dados com alta precisão. O MARVIS transforma espaços de incorporação latentes em representações visuais e, em seguida, aproveita as habilidades de raciocínio espacial e detalhado dos VLMs para interpretá-las e utilizá-las com sucesso. O MARVIS alcança desempenho competitivo em domínios de visão, áudio, biológicos e tabulares usando um único modelo de 3 bilhões de parâmetros, obtendo resultados que superam o Gemini em 16\% em média e se aproximam de métodos especializados, sem expor informações pessoalmente identificáveis (P.I.I.) ou exigir qualquer treinamento específico do domínio. Disponibilizamos nosso código e conjuntos de dados em código aberto em https://github.com/penfever/marvis.

English

Scientific applications of machine learning often rely on small, specialized models tuned to particular domains. Such models often achieve excellent performance, but lack flexibility. Foundation models offer versatility, but typically underperform specialized approaches, especially on non-traditional modalities and long-tail domains. We propose MARVIS (Modality Adaptive Reasoning over VISualizations), a training-free method that enables even small vision-language models to predict any data modality with high accuracy. MARVIS transforms latent embedding spaces into visual representations and then leverages the spatial and fine-grained reasoning skills of VLMs to successfully interpret and utilize them. MARVIS achieves competitive performance on vision, audio, biological, and tabular domains using a single 3B parameter model, achieving results that beat Gemini by 16\% on average and approach specialized methods, without exposing personally identifiable information (P.I.I.) or requiring any domain-specific training. We open source our code and datasets at https://github.com/penfever/marvis