すべてを生成するための1つの拡散

要旨

OneDiffusionは、多様なタスクを横断的にサポートする、多目的で大規模な拡散モデルです。このモデルは、テキスト、深度、ポーズ、レイアウト、および意味マップなどの入力からの条件付き生成を可能にし、また画像のぼやけの除去、拡大、深度推定やセグメンテーションなどの逆プロセスを処理します。さらに、OneDiffusionは、マルチビュー生成、カメラポーズ推定、および連続画像入力を使用した即座の個人化も可能です。当モデルは、トレーニング中にすべてのタスクをノイズスケールが異なるフレームシーケンスとして扱うことで、推論時に任意のフレームを条件付き画像として扱えるようにします。統合されたトレーニングフレームワークにより、専門的なアーキテクチャが不要となり、スケーラブルなマルチタスクトレーニングをサポートし、任意の解像度にスムーズに適応して汎化性とスケーラビリティを向上させます。実験結果は、比較的小規模なトレーニングデータセットにもかかわらず、テキストから画像への変換、マルチビュー生成、ID保存、深度推定、カメラポーズ推定などの生成と予測の両方のタスクで競争力のあるパフォーマンスを示しています。当モデルのコードとチェックポイントは、https://github.com/lehduong/OneDiffusion で無料で入手可能です。

English

We introduce OneDiffusion, a versatile, large-scale diffusion model that seamlessly supports bidirectional image synthesis and understanding across diverse tasks. It enables conditional generation from inputs such as text, depth, pose, layout, and semantic maps, while also handling tasks like image deblurring, upscaling, and reverse processes such as depth estimation and segmentation. Additionally, OneDiffusion allows for multi-view generation, camera pose estimation, and instant personalization using sequential image inputs. Our model takes a straightforward yet effective approach by treating all tasks as frame sequences with varying noise scales during training, allowing any frame to act as a conditioning image at inference time. Our unified training framework removes the need for specialized architectures, supports scalable multi-task training, and adapts smoothly to any resolution, enhancing both generalization and scalability. Experimental results demonstrate competitive performance across tasks in both generation and prediction such as text-to-image, multiview generation, ID preservation, depth estimation and camera pose estimation despite relatively small training dataset. Our code and checkpoint are freely available at https://github.com/lehduong/OneDiffusion

すべてを生成するための1つの拡散

One Diffusion to Generate Them All

要旨

Summary

Support

Support