Chameleon: Gemengde-Modale Vroege-Fusie Fundamentmodellen

Chameleon: Mixed-Modal Early-Fusion Foundation Models

May 16, 2024

Auteurs: Chameleon Team

cs.AI

Samenvatting

We presenteren Chameleon, een familie van early-fusion token-gebaseerde gemengde modale modellen die in staat zijn om afbeeldingen en tekst in elke willekeurige volgorde te begrijpen en te genereren. We schetsen een stabiele trainingsaanpak vanaf het begin, een alignatierecept en een architectuurparameterisatie die is afgestemd op de early-fusion, token-gebaseerde, gemengde modale setting. De modellen worden geëvalueerd op een uitgebreid scala aan taken, waaronder visuele vraagbeantwoording, beeldbeschrijving, tekstgeneratie, beeldgeneratie en langlopende gemengde modale generatie. Chameleon toont brede en algemene capaciteiten, waaronder state-of-the-art prestaties in beeldbeschrijvingstaken, overtreft Llama-2 in teksttaken terwijl het concurreert met modellen zoals Mixtral 8x7B en Gemini-Pro, en voert niet-triviale beeldgeneratie uit, allemaal in één model. Het evenaart of overtreft ook de prestaties van veel grotere modellen, waaronder Gemini Pro en GPT-4V, volgens menselijke beoordelingen op een nieuwe evaluatie van langlopende gemengde modale generatie, waarbij de prompt of uitvoer gemengde sequenties van zowel afbeeldingen als tekst bevat. Chameleon markeert een significante stap voorwaarts in de geünificeerde modellering van volledige multimodale documenten.

English

We present Chameleon, a family of early-fusion token-based mixed-modal models capable of understanding and generating images and text in any arbitrary sequence. We outline a stable training approach from inception, an alignment recipe, and an architectural parameterization tailored for the early-fusion, token-based, mixed-modal setting. The models are evaluated on a comprehensive range of tasks, including visual question answering, image captioning, text generation, image generation, and long-form mixed modal generation. Chameleon demonstrates broad and general capabilities, including state-of-the-art performance in image captioning tasks, outperforms Llama-2 in text-only tasks while being competitive with models such as Mixtral 8x7B and Gemini-Pro, and performs non-trivial image generation, all in a single model. It also matches or exceeds the performance of much larger models, including Gemini Pro and GPT-4V, according to human judgments on a new long-form mixed-modal generation evaluation, where either the prompt or outputs contain mixed sequences of both images and text. Chameleon marks a significant step forward in a unified modeling of full multimodal documents.