자유 형식 혼합 텍스트-이미지 생성을 위한 통합 멀티모달 모델 조명

초록

텍스트와 이미지를 생성할 수 있는 생성형 AI 모델의 발전은 특히 두 양식이 교차된 작업에서 멀티모달 지능의 중요한 진전을 의미한다. 이러한 지능을 다음 단계로 발전시키기 위해서는 모델이 자율적으로 자유 형식의 교차된 텍스트-이미지 시퀀스를 생성할 수 있어야 한다. 본 논문에서는 ILLUME-X를 소개한다. 이는 멀티모달 데이터 효율성을 개선하고 멀티모달 훈련 과정을 안정화함으로써 고품질의 자유 형식 교차 텍스트-이미지 생성을 가능하게 하는 진보된 통합 멀티모달 패러다임이다. ILLUME-X는 세 가지 핵심 구성 요소로 이루어진다: (i) 교차 텍스트-이미지 생성에 최적화된 확장된 훈련 데이터 파이프라인, (ii) 자유 길이 멀티모달 토큰 시퀀스를 위한 자기 적응적 목표를 갖춘 점진적 훈련 전략, (iii) 교차 텍스트-이미지 시퀀스에 대한 객관적이고 포괄적인 평가 방법인 ILScore. 특히, ILLUME-X는 스타일 전이, 이미지 분해 및 스토리텔링과 같은 여러 교차 텍스트-이미지 생성 작업에서 이전 통합 모델보다 우수한 성능을 보인다.

English

The advancement of generative AI models capable of producing text and image marks a critical step forward in the realm of multimodal intelligence, particularly for tasks involving the interleaving of both modalities. To advance this intelligence to the next stage, it is crucial for models to autonomously generate free-form interleaved text-image sequences. In this paper, we introduce ILLUME-X, an advanced unified multimodal paradigm that enables high-quality, free-form interleaved text-image generation by improving multimodal data efficiency and stabilizing the multimodal training process. ILLUME-X comprises three key components: (i) an expanded training data pipeline optimized for interleaved text-image generation, (ii) a progressive training strategy with self-adaptive objectives for free-length multimodal token sequences, and (iii) an objective and comprehensive evaluation method ILScore for interleaved text-image sequences. Notably, our ILLUME-X outperforms previous unified models across multiple interleaved text-image generation tasks like style transfer, image decomposition and storytelling.