MARVIS: Ragionamento Adattivo alla Modalità su Visualizzazioni

MARVIS: Modality Adaptive Reasoning over VISualizations

July 2, 2025

Autori: Benjamin Feuer, Lennart Purucker, Oussama Elachqar, Chinmay Hegde

cs.AI

Abstract

Le applicazioni scientifiche del machine learning spesso si basano su modelli piccoli e specializzati, ottimizzati per domini specifici. Tali modelli spesso raggiungono prestazioni eccellenti, ma mancano di flessibilità. I modelli di base offrono versatilità, ma tipicamente hanno prestazioni inferiori rispetto agli approcci specializzati, specialmente su modalità non tradizionali e domini a coda lunga. Proponiamo MARVIS (Modality Adaptive Reasoning over VISualizations), un metodo senza addestramento che consente anche a piccoli modelli visione-linguaggio di prevedere qualsiasi modalità di dati con alta accuratezza. MARVIS trasforma gli spazi di embedding latenti in rappresentazioni visive e sfrutta le capacità di ragionamento spaziale e fine dei modelli visione-linguaggio per interpretarle e utilizzarle con successo. MARVIS raggiunge prestazioni competitive nei domini visivi, audio, biologici e tabellari utilizzando un singolo modello da 3 miliardi di parametri, ottenendo risultati che superano Gemini del 16% in media e si avvicinano ai metodi specializzati, senza esporre informazioni personalmente identificabili (P.I.I.) o richiedere alcun addestramento specifico per dominio. Rendiamo disponibili il nostro codice e i dataset all'indirizzo https://github.com/penfever/marvis.

English

Scientific applications of machine learning often rely on small, specialized models tuned to particular domains. Such models often achieve excellent performance, but lack flexibility. Foundation models offer versatility, but typically underperform specialized approaches, especially on non-traditional modalities and long-tail domains. We propose MARVIS (Modality Adaptive Reasoning over VISualizations), a training-free method that enables even small vision-language models to predict any data modality with high accuracy. MARVIS transforms latent embedding spaces into visual representations and then leverages the spatial and fine-grained reasoning skills of VLMs to successfully interpret and utilize them. MARVIS achieves competitive performance on vision, audio, biological, and tabular domains using a single 3B parameter model, achieving results that beat Gemini by 16\% on average and approach specialized methods, without exposing personally identifiable information (P.I.I.) or requiring any domain-specific training. We open source our code and datasets at https://github.com/penfever/marvis