ショーオ ターボ：加速統合マルチモーダル理解と生成に向けて

Show-o Turbo: Towards Accelerated Unified Multimodal Understanding and Generation

February 8, 2025

著者: Chenkai Xu, Xu Wang, Zhenyi Liao, Yishun Li, Tianqi Hou, Zhijie Deng

cs.AI

要旨

統合されたマルチモーダル理解および生成モデルの構築に対する研究関心が高まっており、その中で注目すべき代表例としてShow-oが挙げられます。Show-oは、テキストから画像への生成および画像からテキストへの生成にとって大きな可能性を示しています。Show-oの推論は、画像トークンの段階的なノイズ除去とテキストトークンの自己回帰的なデコーディングを含んでおり、したがって、両側から効率性の問題に苦しんでいます。本論文では、このギャップを埋めるためにShow-o Turboを紹介します。まず、Show-oにおける画像とテキストの生成に対する統合されたノイズ除去の視点を、テキストトークンの並列デコーディングに基づいて特定します。次に、拡散モデルのノイズ除去プロセスを短縮するための適格な手法である一貫性蒸留（CD）を、Show-oのマルチモーダルノイズ除去軌跡に拡張することを提案します。トラジェクトリ分割戦略とカリキュラム学習手法を導入して、トレーニングの収束を改善します。実験的には、テキストから画像への生成において、Show-o Turboは、分類器フリーガイダンス（CFG）を使用せずに4つのサンプリングステップで0.625のGenEvalスコアを示し、元のShow-oの8つのステップとCFGを上回ります。画像からテキストへの生成では、Show-o Turboはパフォーマンスを大きく犠牲することなく、1.5倍の高速化を実現します。コードはhttps://github.com/zhijie-group/Show-o-Turboで入手可能です。

English

There has been increasing research interest in building unified multimodal understanding and generation models, among which Show-o stands as a notable representative, demonstrating great promise for both text-to-image and image-to-text generation. The inference of Show-o involves progressively denoising image tokens and autoregressively decoding text tokens, and hence, unfortunately, suffers from inefficiency issues from both sides. This paper introduces Show-o Turbo to bridge the gap. We first identify a unified denoising perspective for the generation of images and text in Show-o based on the parallel decoding of text tokens. We then propose to extend consistency distillation (CD), a qualified approach for shortening the denoising process of diffusion models, to the multimodal denoising trajectories of Show-o. We introduce a trajectory segmentation strategy and a curriculum learning procedure to improve the training convergence. Empirically, in text-to-image generation, Show-o Turbo displays a GenEval score of 0.625 at 4 sampling steps without using classifier-free guidance (CFG), outperforming that of the original Show-o with 8 steps and CFG; in image-to-text generation, Show-o Turbo exhibits a 1.5x speedup without significantly sacrificing performance. The code is available at https://github.com/zhijie-group/Show-o-Turbo.