MARVIS: Modalitätsadaptives Schließen über Visualisierungen

MARVIS: Modality Adaptive Reasoning over VISualizations

July 2, 2025

Autoren: Benjamin Feuer, Lennart Purucker, Oussama Elachqar, Chinmay Hegde

cs.AI

Zusammenfassung

Wissenschaftliche Anwendungen des maschinellen Lernens basieren oft auf kleinen, spezialisierten Modellen, die auf bestimmte Domänen abgestimmt sind. Solche Modelle erzielen häufig hervorragende Leistungen, mangelt es ihnen jedoch an Flexibilität. Foundation-Modelle bieten Vielseitigkeit, liegen aber typischerweise in der Leistung hinter spezialisierten Ansätzen zurück, insbesondere bei nicht-traditionellen Modalitäten und Long-Tail-Domänen. Wir schlagen MARVIS (Modality Adaptive Reasoning over VISualizations) vor, eine trainingsfreie Methode, die selbst kleinen Vision-Language-Modellen ermöglicht, jede Datenmodalität mit hoher Genauigkeit vorherzusagen. MARVIS transformiert latente Einbettungsräume in visuelle Darstellungen und nutzt dann die räumlichen und fein abgestimmten Fähigkeiten von VLMs, um diese erfolgreich zu interpretieren und zu verwenden. MARVIS erzielt wettbewerbsfähige Leistungen in den Bereichen Vision, Audio, Biologie und Tabellendaten mit einem einzigen 3-Milliarden-Parameter-Modell und erreicht Ergebnisse, die Gemini im Durchschnitt um 16\% übertreffen und sich spezialisierten Methoden annähern, ohne persönlich identifizierbare Informationen (P.I.I.) preiszugeben oder domänenspezifisches Training zu erfordern. Wir stellen unseren Code und unsere Datensätze unter https://github.com/penfever/marvis als Open Source zur Verfügung.

English

Scientific applications of machine learning often rely on small, specialized models tuned to particular domains. Such models often achieve excellent performance, but lack flexibility. Foundation models offer versatility, but typically underperform specialized approaches, especially on non-traditional modalities and long-tail domains. We propose MARVIS (Modality Adaptive Reasoning over VISualizations), a training-free method that enables even small vision-language models to predict any data modality with high accuracy. MARVIS transforms latent embedding spaces into visual representations and then leverages the spatial and fine-grained reasoning skills of VLMs to successfully interpret and utilize them. MARVIS achieves competitive performance on vision, audio, biological, and tabular domains using a single 3B parameter model, achieving results that beat Gemini by 16\% on average and approach specialized methods, without exposing personally identifiable information (P.I.I.) or requiring any domain-specific training. We open source our code and datasets at https://github.com/penfever/marvis