ネイティブ解像度の画像合成

Native-Resolution Image Synthesis

June 3, 2025

著者: Zidong Wang, Lei Bai, Xiangyu Yue, Wanli Ouyang, Yiyuan Zhang

cs.AI

要旨

ネイティブ解像度画像合成を紹介します。これは、任意の解像度とアスペクト比で画像を合成することを可能にする新しい生成モデリングパラダイムです。このアプローチは、従来の固定解像度・正方形画像手法の限界を克服し、可変長のビジュアルトークンをネイティブに扱うことで、従来技術の核心的な課題に対処します。この目的のために、Native-resolution diffusion Transformer（NiT）を導入しました。これは、そのノイズ除去プロセス内でさまざまな解像度とアスペクト比を明示的にモデル化するように設計されたアーキテクチャです。固定フォーマットの制約から解放されたNiTは、幅広い解像度とアスペクト比の画像から本質的な視覚分布を学習します。特に、単一のNiTモデルは、ImageNet-256x256と512x512のベンチマークの両方で最先端のパフォーマンスを同時に達成します。驚くべきことに、高度な大規模言語モデルに見られる強力なゼロショット能力と同様に、ImageNetのみでトレーニングされたNiTは、優れたゼロショット汎化性能を示します。図1に示すように、以前に見られなかった高解像度（例：1536 x 1536）や多様なアスペクト比（例：16:9、3:1、4:3）で高忠実度の画像を生成することに成功しています。これらの発見は、視覚生成モデリングと高度なLLM手法の間の架け橋としてのネイティブ解像度モデリングの大きな可能性を示しています。

English

We introduce native-resolution image synthesis, a novel generative modeling paradigm that enables the synthesis of images at arbitrary resolutions and aspect ratios. This approach overcomes the limitations of conventional fixed-resolution, square-image methods by natively handling variable-length visual tokens, a core challenge for traditional techniques. To this end, we introduce the Native-resolution diffusion Transformer (NiT), an architecture designed to explicitly model varying resolutions and aspect ratios within its denoising process. Free from the constraints of fixed formats, NiT learns intrinsic visual distributions from images spanning a broad range of resolutions and aspect ratios. Notably, a single NiT model simultaneously achieves the state-of-the-art performance on both ImageNet-256x256 and 512x512 benchmarks. Surprisingly, akin to the robust zero-shot capabilities seen in advanced large language models, NiT, trained solely on ImageNet, demonstrates excellent zero-shot generalization performance. It successfully generates high-fidelity images at previously unseen high resolutions (e.g., 1536 x 1536) and diverse aspect ratios (e.g., 16:9, 3:1, 4:3), as shown in Figure 1. These findings indicate the significant potential of native-resolution modeling as a bridge between visual generative modeling and advanced LLM methodologies.