Écouter la voix intérieure : Alignement de l'entraînement de ControlNet via un retour d'information sur les caractéristiques intermédiaires

Heeding the Inner Voice: Aligning ControlNet Training via Intermediate Features Feedback

July 3, 2025

Auteurs: Nina Konovalova, Maxim Nikolaev, Andrey Kuznetsov, Aibek Alanov

cs.AI

Résumé

Malgré des progrès significatifs dans les modèles de diffusion texte-image, le contrôle spatial précis des sorties générées reste un défi. ControlNet aborde ce problème en introduisant un module de conditionnement auxiliaire, tandis que ControlNet++ affine davantage l'alignement grâce à une perte de cohérence cyclique appliquée uniquement aux dernières étapes de débruitage. Cependant, cette approche néglige les étapes intermédiaires de génération, limitant ainsi son efficacité. Nous proposons InnerControl, une stratégie d'entraînement qui impose une cohérence spatiale à toutes les étapes de diffusion. Notre méthode entraîne des sondes convolutives légères pour reconstruire les signaux de contrôle d'entrée (par exemple, les contours, la profondeur) à partir des caractéristiques intermédiaires de l'UNet à chaque étape de débruitage. Ces sondes extraient efficacement les signaux même à partir de latents très bruités, permettant ainsi des contrôles pseudo ground truth pour l'entraînement. En minimisant l'écart entre les conditions prédites et cibles tout au long du processus de diffusion, notre perte d'alignement améliore à la fois la fidélité du contrôle et la qualité de la génération. Combiné à des techniques établies comme ControlNet++, InnerControl atteint des performances de pointe pour diverses méthodes de conditionnement (par exemple, les contours, la profondeur).

English

Despite significant progress in text-to-image diffusion models, achieving precise spatial control over generated outputs remains challenging. ControlNet addresses this by introducing an auxiliary conditioning module, while ControlNet++ further refines alignment through a cycle consistency loss applied only to the final denoising steps. However, this approach neglects intermediate generation stages, limiting its effectiveness. We propose InnerControl, a training strategy that enforces spatial consistency across all diffusion steps. Our method trains lightweight convolutional probes to reconstruct input control signals (e.g., edges, depth) from intermediate UNet features at every denoising step. These probes efficiently extract signals even from highly noisy latents, enabling pseudo ground truth controls for training. By minimizing the discrepancy between predicted and target conditions throughout the entire diffusion process, our alignment loss improves both control fidelity and generation quality. Combined with established techniques like ControlNet++, InnerControl achieves state-of-the-art performance across diverse conditioning methods (e.g., edges, depth).