MARVIS: Razonamiento Adaptativo a la Modalidad sobre Visualizaciones

MARVIS: Modality Adaptive Reasoning over VISualizations

July 2, 2025

Autores: Benjamin Feuer, Lennart Purucker, Oussama Elachqar, Chinmay Hegde

cs.AI

Resumen

Las aplicaciones científicas del aprendizaje automático a menudo dependen de modelos pequeños y especializados ajustados a dominios particulares. Dichos modelos suelen alcanzar un rendimiento excelente, pero carecen de flexibilidad. Los modelos fundamentales ofrecen versatilidad, pero generalmente tienen un rendimiento inferior a los enfoques especializados, especialmente en modalidades no tradicionales y dominios de cola larga. Proponemos MARVIS (Razonamiento Adaptativo a la Modalidad sobre VISualizaciones), un método sin entrenamiento que permite incluso a modelos pequeños de visión y lenguaje predecir cualquier modalidad de datos con alta precisión. MARVIS transforma los espacios de incrustación latente en representaciones visuales y luego aprovecha las habilidades de razonamiento espacial y detallado de los modelos de visión y lenguaje (VLMs) para interpretarlos y utilizarlos con éxito. MARVIS logra un rendimiento competitivo en dominios de visión, audio, biológicos y tabulares utilizando un único modelo de 3 mil millones de parámetros, obteniendo resultados que superan a Gemini en un 16% en promedio y se acercan a los métodos especializados, sin exponer información personal identificable (P.I.I.) ni requerir entrenamiento específico del dominio. Publicamos nuestro código y conjuntos de datos en https://github.com/penfever/marvis.

English

Scientific applications of machine learning often rely on small, specialized models tuned to particular domains. Such models often achieve excellent performance, but lack flexibility. Foundation models offer versatility, but typically underperform specialized approaches, especially on non-traditional modalities and long-tail domains. We propose MARVIS (Modality Adaptive Reasoning over VISualizations), a training-free method that enables even small vision-language models to predict any data modality with high accuracy. MARVIS transforms latent embedding spaces into visual representations and then leverages the spatial and fine-grained reasoning skills of VLMs to successfully interpret and utilize them. MARVIS achieves competitive performance on vision, audio, biological, and tabular domains using a single 3B parameter model, achieving results that beat Gemini by 16\% on average and approach specialized methods, without exposing personally identifiable information (P.I.I.) or requiring any domain-specific training. We open source our code and datasets at https://github.com/penfever/marvis