OmniFusion Technischer Bericht

OmniFusion Technical Report

April 9, 2024

Autoren: Elizaveta Goncharova, Anton Razzhigaev, Matvey Mikhalchuk, Maxim Kurkin, Irina Abdullaeva, Matvey Skripkin, Ivan Oseledets, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Zusammenfassung

Im vergangenen Jahr haben multimodale Architekturen eine Revolution in KI-basierten Ansätzen und Lösungen eingeleitet, die die Fähigkeiten großer Sprachmodelle erweitern. Wir schlagen ein OmniFusion-Modell vor, das auf einem vorab trainierten Sprachmodell basiert und Adapter für die visuelle Modalität enthält. Wir haben verschiedene Architekturentwurfsprinzipien zur besseren Kopplung von Text- und visuellen Daten evaluiert und verglichen: MLP- und Transformer-Adapter, verschiedene CLIP ViT-basierte Encoder (SigLIP, InternVIT usw.) und ihren Verschmelzungsansatz, die Bildcodierungsmethode (Gesamtbild oder Kachelcodierung) und zwei 7B-Sprachmodelle (das proprietäre und das Open-Source-Modell Mistral). Experimente an 8 visuell-sprachlichen Benchmarktests zeigen die Bestleistung für das beste OmniFusion-Setup in Bezug auf verschiedene VQA-Aufgaben im Vergleich zu Open-Source-Lösungen wie LLaVA: VizWiz, Pope, MM-Vet, ScienceQA, MMBench, TextVQA, VQAv2, MMMU. Wir schlagen auch verschiedene Situationen vor, in denen OmniFusion hochdetaillierte Antworten in verschiedenen Bereichen liefert: Hausverwaltung, Sightseeing, Kultur, Medizin, Erkennung von handgeschriebenen und gescannten Gleichungen usw. Das auf Mistral basierende OmniFusion-Modell ist eine Open-Source-Lösung mit verfügbaren Gewichten, Trainings- und Inferenzskripten unter https://github.com/AIRI-Institute/OmniFusion.

English

Last year, multimodal architectures served up a revolution in AI-based approaches and solutions, extending the capabilities of large language models (LLM). We propose an OmniFusion model based on a pretrained LLM and adapters for visual modality. We evaluated and compared several architecture design principles for better text and visual data coupling: MLP and transformer adapters, various CLIP ViT-based encoders (SigLIP, InternVIT, etc.), and their fusing approach, image encoding method (whole image or tiles encoding) and two 7B LLMs (the proprietary one and open-source Mistral). Experiments on 8 visual-language benchmarks show the top score for the best OmniFusion setup in terms of different VQA tasks in comparison with open-source LLaVA-like solutions: VizWiz, Pope, MM-Vet, ScienceQA, MMBench, TextVQA, VQAv2, MMMU. We also propose a variety of situations, where OmniFusion provides highly-detailed answers in different domains: housekeeping, sightseeing, culture, medicine, handwritten and scanned equations recognition, etc. Mistral-based OmniFusion model is an open-source solution with weights, training and inference scripts available at https://github.com/AIRI-Institute/OmniFusion.