MARVIS: Адаптивное рассуждение над визуализациями с учетом модальностей

MARVIS: Modality Adaptive Reasoning over VISualizations

July 2, 2025

Авторы: Benjamin Feuer, Lennart Purucker, Oussama Elachqar, Chinmay Hegde

cs.AI

Аннотация

Научные применения машинного обучения часто опираются на небольшие специализированные модели, настроенные для конкретных областей. Такие модели часто демонстрируют превосходную производительность, но им не хватает гибкости. Фундаментальные модели предлагают универсальность, но обычно уступают специализированным подходам, особенно в нетрадиционных модальностях и нишевых областях. Мы предлагаем MARVIS (Modality Adaptive Reasoning over VISualizations) — метод, не требующий обучения, который позволяет даже небольшим моделям обработки визуальных и текстовых данных точно предсказывать любые модальности данных. MARVIS преобразует скрытые пространства вложений в визуальные представления, а затем использует пространственные и детализированные навыки рассуждения моделей обработки визуальных и текстовых данных для успешной интерпретации и использования этих представлений. MARVIS демонстрирует конкурентоспособные результаты в областях визуальных данных, аудио, биологии и табличных данных, используя одну модель с 3 миллиардами параметров, превосходя Gemini в среднем на 16% и приближаясь к специализированным методам, не раскрывая личной идентифицируемой информации (P.I.I.) и не требуя обучения для конкретной области. Мы открываем исходный код и наборы данных по адресу https://github.com/penfever/marvis.

English

Scientific applications of machine learning often rely on small, specialized models tuned to particular domains. Such models often achieve excellent performance, but lack flexibility. Foundation models offer versatility, but typically underperform specialized approaches, especially on non-traditional modalities and long-tail domains. We propose MARVIS (Modality Adaptive Reasoning over VISualizations), a training-free method that enables even small vision-language models to predict any data modality with high accuracy. MARVIS transforms latent embedding spaces into visual representations and then leverages the spatial and fine-grained reasoning skills of VLMs to successfully interpret and utilize them. MARVIS achieves competitive performance on vision, audio, biological, and tabular domains using a single 3B parameter model, achieving results that beat Gemini by 16\% on average and approach specialized methods, without exposing personally identifiable information (P.I.I.) or requiring any domain-specific training. We open source our code and datasets at https://github.com/penfever/marvis