制御可能な人物画像生成のためのアテンションにおけるフロー場の学習

Learning Flow Fields in Attention for Controllable Person Image Generation

December 11, 2024

著者: Zijian Zhou, Shikun Liu, Xiao Han, Haozhe Liu, Kam Woh Ng, Tian Xie, Yuren Cong, Hang Li, Mengmeng Xu, Juan-Manuel Pérez-Rúa, Aditya Patel, Tao Xiang, Miaojing Shi, Sen He

cs.AI

要旨

コントロール可能な人物画像生成は、参照画像に基づいて人物画像を生成し、人物の外見やポーズを正確にコントロールすることを目指しています。しかし、従来の手法では、全体的な画質が高くなっても、参照画像から微細なテクスチャの詳細が歪んでしまうことがよくありました。これらの歪みは、参照画像内の対応する領域への適切な注意が不足していることに起因すると考えられます。この問題に対処するために、我々は学習フローを注視するアテンション（Leffa）を提案します。これにより、トレーニング中にターゲットクエリを明示的に正しい参照キーに注視させます。具体的には、拡散ベースライン内のアテンションマップに対する正則化損失を介して実現されます。我々の幅広い実験は、Leffaが外見（仮想試着）とポーズ（ポーズ転送）の制御において最先端の性能を達成し、微細な詳細の歪みを軽減しながら高い画質を維持することを示しています。さらに、我々の損失はモデルに依存せず、他の拡散モデルの性能を向上させるために使用できることも示しています。

English

Controllable person image generation aims to generate a person image conditioned on reference images, allowing precise control over the person's appearance or pose. However, prior methods often distort fine-grained textural details from the reference image, despite achieving high overall image quality. We attribute these distortions to inadequate attention to corresponding regions in the reference image. To address this, we thereby propose learning flow fields in attention (Leffa), which explicitly guides the target query to attend to the correct reference key in the attention layer during training. Specifically, it is realized via a regularization loss on top of the attention map within a diffusion-based baseline. Our extensive experiments show that Leffa achieves state-of-the-art performance in controlling appearance (virtual try-on) and pose (pose transfer), significantly reducing fine-grained detail distortion while maintaining high image quality. Additionally, we show that our loss is model-agnostic and can be used to improve the performance of other diffusion models.