MARVIS : Raisonnement Adaptatif à la Modalité sur les VISualisations

MARVIS: Modality Adaptive Reasoning over VISualizations

July 2, 2025

Auteurs: Benjamin Feuer, Lennart Purucker, Oussama Elachqar, Chinmay Hegde

cs.AI

Résumé

Les applications scientifiques de l'apprentissage automatique reposent souvent sur des modèles petits et spécialisés, ajustés à des domaines particuliers. Ces modèles atteignent fréquemment des performances excellentes, mais manquent de flexibilité. Les modèles de base offrent une grande polyvalence, mais sont généralement moins performants que les approches spécialisées, en particulier sur des modalités non traditionnelles et des domaines à longue traîne. Nous proposons MARVIS (Modality Adaptive Reasoning over VISualizations), une méthode sans entraînement qui permet même à de petits modèles vision-langage de prédire avec précision n'importe quelle modalité de données. MARVIS transforme les espaces d'incorporation latents en représentations visuelles, puis exploite les compétences de raisonnement spatial et granulaire des modèles vision-langage pour les interpréter et les utiliser avec succès. MARVIS obtient des performances compétitives dans les domaines de la vision, de l'audio, de la biologie et des données tabulaires en utilisant un seul modèle de 3 milliards de paramètres, surpassant Gemini de 16 % en moyenne et approchant les méthodes spécialisées, sans exposer d'informations personnellement identifiables (P.I.I.) ni nécessiter d'entraînement spécifique au domaine. Nous mettons à disposition notre code et nos jeux de données à l'adresse suivante : https://github.com/penfever/marvis.

English

Scientific applications of machine learning often rely on small, specialized models tuned to particular domains. Such models often achieve excellent performance, but lack flexibility. Foundation models offer versatility, but typically underperform specialized approaches, especially on non-traditional modalities and long-tail domains. We propose MARVIS (Modality Adaptive Reasoning over VISualizations), a training-free method that enables even small vision-language models to predict any data modality with high accuracy. MARVIS transforms latent embedding spaces into visual representations and then leverages the spatial and fine-grained reasoning skills of VLMs to successfully interpret and utilize them. MARVIS achieves competitive performance on vision, audio, biological, and tabular domains using a single 3B parameter model, achieving results that beat Gemini by 16\% on average and approach specialized methods, without exposing personally identifiable information (P.I.I.) or requiring any domain-specific training. We open source our code and datasets at https://github.com/penfever/marvis