Verbesserte Baselines durch visuelles Instruktions-Tuning

Improved Baselines with Visual Instruction Tuning

October 5, 2023

Autoren: Haotian Liu, Chunyuan Li, Yuheng Li, Yong Jae Lee

cs.AI

Zusammenfassung

Große multimodale Modelle (LMM) haben kürzlich ermutigende Fortschritte bei der visuellen Instruktionsfeinabstimmung gezeigt. In dieser Arbeit zeigen wir, dass der vollständig vernetzte visuell-sprachliche Cross-Modal-Connector in LLaVA überraschend leistungsstark und dateneffizient ist. Mit einfachen Modifikationen an LLaVA, nämlich der Verwendung von CLIP-ViT-L-336px mit einer MLP-Projektion und der Hinzufügung von akademisch ausgerichteten VQA-Daten mit einfachen Antwortformatierungs-Prompts, etablieren wir stärkere Baselines, die Spitzenwerte über 11 Benchmarks hinweg erreichen. Unser finaler 13B-Checkpoint verwendet lediglich 1,2 Millionen öffentlich verfügbare Daten und absolviert das vollständige Training in etwa einem Tag auf einem einzelnen 8-A100-Knoten. Wir hoffen, dass dies die Forschung an state-of-the-art LMMs zugänglicher machen kann. Code und Modell werden öffentlich verfügbar sein.

English

Large multimodal models (LMM) have recently shown encouraging progress with visual instruction tuning. In this note, we show that the fully-connected vision-language cross-modal connector in LLaVA is surprisingly powerful and data-efficient. With simple modifications to LLaVA, namely, using CLIP-ViT-L-336px with an MLP projection and adding academic-task-oriented VQA data with simple response formatting prompts, we establish stronger baselines that achieve state-of-the-art across 11 benchmarks. Our final 13B checkpoint uses merely 1.2M publicly available data, and finishes full training in ~1 day on a single 8-A100 node. We hope this can make state-of-the-art LMM research more accessible. Code and model will be publicly available.