X-Prompt: Auf dem Weg zur universellen kontextbezogenen Bildgenerierung in auto-regressiven Vision-Sprach-GrundlagenmodellenX-Prompt: Towards Universal In-Context Image Generation in
Auto-Regressive Vision Language Foundation Models
Die Generierung im Kontext ist eine Schlüsselkomponente der Fähigkeit großer Sprachmodelle (LLMs) zur offenen Aufgabenverallgemeinerung. Durch die Nutzung einiger Beispiele als Kontext können LLMs sowohl in-domain als auch out-of-domain Aufgaben ausführen. Die jüngsten Fortschritte bei auto-regressiven Bild-Sprach-Modellen (VLMs), die auf LLMs aufbauen, haben beeindruckende Leistungen bei der Text-zu-Bild-Generierung gezeigt. Das Potenzial des Lernens im Kontext für allgemeine Bildgenerierungsaufgaben bleibt jedoch weitgehend unerforscht. Um dies anzugehen, stellen wir X-Prompt vor, ein rein auto-regressives großes Bild-Sprach-Modell, das darauf ausgelegt ist, eine wettbewerbsfähige Leistung bei einer breiten Palette von sowohl bekannten als auch unbekannten Bildgenerierungsaufgaben innerhalb eines vereinheitlichten in-Kontext-Lernrahmens zu erbringen. X-Prompt integriert ein spezialisiertes Design, das wertvolle Merkmale aus Kontextbeispielen effizient komprimiert, unterstützt längere in-Kontext-Token-Sequenzen und verbessert seine Fähigkeit zur Verallgemeinerung auf unbekannte Aufgaben. Eine vereinheitlichte Trainingsaufgabe für sowohl Text- als auch Bildvorhersage ermöglicht es X-Prompt, die allgemeine Bildgenerierung mit verbesserter Aufgabenbewusstheit aus Kontextbeispielen zu handhaben. Umfangreiche Experimente validieren die Leistung des Modells bei verschiedenen bekannten Bildgenerierungsaufgaben und seine Fähigkeit, sich auf zuvor unbekannte Aufgaben zu verallgemeinern.