Технический отчет по OmniFusion

OmniFusion Technical Report

April 9, 2024

Авторы: Elizaveta Goncharova, Anton Razzhigaev, Matvey Mikhalchuk, Maxim Kurkin, Irina Abdullaeva, Matvey Skripkin, Ivan Oseledets, Denis Dimitrov, Andrey Kuznetsov

cs.AI

Аннотация

В прошлом году мультимодальные архитектуры привнесли революцию в подходы и решения на основе искусственного интеллекта, расширяя возможности крупных языковых моделей (LLM). Мы предлагаем модель OmniFusion на основе предварительно обученной LLM и адаптеров для визуальной модальности. Мы оценили и сравнили несколько принципов архитектурного проектирования для лучшей связи текстовых и визуальных данных: адаптеры MLP и трансформер, различные кодировщики на основе CLIP ViT (SigLIP, InternVIT и т. д.) и их подход к объединению, метод кодирования изображения (все изображение или кодирование плитками) и две LLM на 7 миллиардов параметров (проприетарная и открытая Mistral). Эксперименты на 8 визуально-языковых бенчмарках показывают лучший результат для наилучшей настройки OmniFusion по сравнению с решениями вроде LLaVA: VizWiz, Pope, MM-Vet, ScienceQA, MMBench, TextVQA, VQAv2, MMMU. Мы также предлагаем различные ситуации, в которых OmniFusion предоставляет подробные ответы в различных областях: домашнее хозяйство, осмотр достопримечательностей, культура, медицина, распознавание рукописных и отсканированных уравнений и т. д. Модель OmniFusion на основе Mistral является решением с открытым исходным кодом, весами, скриптами обучения и вывода, доступными по адресу https://github.com/AIRI-Institute/OmniFusion.

English

Last year, multimodal architectures served up a revolution in AI-based approaches and solutions, extending the capabilities of large language models (LLM). We propose an OmniFusion model based on a pretrained LLM and adapters for visual modality. We evaluated and compared several architecture design principles for better text and visual data coupling: MLP and transformer adapters, various CLIP ViT-based encoders (SigLIP, InternVIT, etc.), and their fusing approach, image encoding method (whole image or tiles encoding) and two 7B LLMs (the proprietary one and open-source Mistral). Experiments on 8 visual-language benchmarks show the top score for the best OmniFusion setup in terms of different VQA tasks in comparison with open-source LLaVA-like solutions: VizWiz, Pope, MM-Vet, ScienceQA, MMBench, TextVQA, VQAv2, MMMU. We also propose a variety of situations, where OmniFusion provides highly-detailed answers in different domains: housekeeping, sightseeing, culture, medicine, handwritten and scanned equations recognition, etc. Mistral-based OmniFusion model is an open-source solution with weights, training and inference scripts available at https://github.com/AIRI-Institute/OmniFusion.