X-Prompt: К универсальному контекстному генерированию изображений в
авторегрессионных моделях основы видео-языкового моделированияX-Prompt: Towards Universal In-Context Image Generation in
Auto-Regressive Vision Language Foundation Models
Генерация в контексте является ключевым компонентом способности к обобщению открытых задач больших моделей языка (LLM) на различные задачи. Используя несколько примеров в качестве контекста, LLM могут выполнять как задачи в предметной области, так и задачи вне предметной области. Недавние достижения в авторегрессионных моделях видео-языка (VLM), построенных на основе LLM, продемонстрировали впечатляющую производительность в генерации текста к изображению. Однако потенциал обучения в контексте для общих задач генерации изображений остается в значительной степени неисследованным. Для решения этой проблемы мы представляем X-Prompt, чисто авторегрессионную крупномасштабную модель языка видения, разработанную для достижения конкурентоспособной производительности на широком спектре как видимых, так и невидимых задач генерации изображений, все в рамках унифицированной системы обучения в контексте. X-Prompt включает специализированный дизайн, который эффективно сжимает ценные характеристики из примеров в контексте, поддерживая более длинные последовательности токенов в контексте и улучшая его способность к обобщению на невидимые задачи. Унифицированная обучающая задача как для предсказания текста, так и для изображения позволяет X-Prompt обрабатывать общие задачи генерации изображений с улучшенным осознанием задачи на основе примеров в контексте. Обширные эксперименты подтверждают производительность модели на различных видимых задачах генерации изображений и ее способность к обобщению на ранее невидимые задачи.