Chamäleon: Gemischt-modalen Früh-Fusions-Grundlagenmodelle

Chameleon: Mixed-Modal Early-Fusion Foundation Models

May 16, 2024

Autoren: Chameleon Team

cs.AI

Zusammenfassung

Wir präsentieren Chameleon, eine Familie von früh-fusionierten tokenbasierten Mixed-Modal-Modellen, die in der Lage sind, Bilder und Text in beliebiger Sequenz zu verstehen und zu generieren. Wir skizzieren einen stabilen Schulungsansatz von Anfang an, ein Ausrichtungsrezept und eine architektonische Parametrisierung, die speziell für die früh-fusionierte, tokenbasierte, Mixed-Modal-Umgebung entwickelt wurde. Die Modelle werden auf einer umfassenden Palette von Aufgaben evaluiert, einschließlich visueller Fragestellungen, Bildunterschriften, Textgenerierung, Bildgenerierung und Mixed-Modal-Generierung in Langform. Chameleon zeigt breite und allgemeine Fähigkeiten, einschließlich einer Leistung auf dem neuesten Stand der Technik bei Bildunterschriftsaufgaben, übertrifft Llama-2 in reinen Textaufgaben, während es mit Modellen wie Mixtral 8x7B und Gemini-Pro konkurriert, und führt nicht-triviale Bildgenerierung durch, alles in einem einzigen Modell. Es entspricht auch oder übertrifft die Leistung von viel größeren Modellen, einschließlich Gemini Pro und GPT-4V, gemäß menschlicher Bewertungen in einer neuen Bewertung der Langform-Mixed-Modal-Generierung, bei der entweder die Eingabeaufforderung oder die Ausgaben gemischte Sequenzen von Bildern und Text enthalten. Chameleon markiert einen bedeutenden Fortschritt in der vereinheitlichten Modellierung vollständig multimodaler Dokumente.

English

We present Chameleon, a family of early-fusion token-based mixed-modal models capable of understanding and generating images and text in any arbitrary sequence. We outline a stable training approach from inception, an alignment recipe, and an architectural parameterization tailored for the early-fusion, token-based, mixed-modal setting. The models are evaluated on a comprehensive range of tasks, including visual question answering, image captioning, text generation, image generation, and long-form mixed modal generation. Chameleon demonstrates broad and general capabilities, including state-of-the-art performance in image captioning tasks, outperforms Llama-2 in text-only tasks while being competitive with models such as Mixtral 8x7B and Gemini-Pro, and performs non-trivial image generation, all in a single model. It also matches or exceeds the performance of much larger models, including Gemini Pro and GPT-4V, according to human judgments on a new long-form mixed-modal generation evaluation, where either the prompt or outputs contain mixed sequences of both images and text. Chameleon marks a significant step forward in a unified modeling of full multimodal documents.