POLARIS: Projektions-Orthogonale Kleinste-Quadrate-Methode für robuste und adaptive Inversion in Diffusionsmodellen
POLARIS: Projection-Orthogonal Least Squares for Robust and Adaptive Inversion in Diffusion Models
November 29, 2025
papers.authors: Wenshuo Chen, Haosen Li, Shaofeng Liang, Lei Wang, Haozhe Jia, Kaishen Yuan, Jieming Wu, Bowen Tian, Yutao Yue
cs.AI
papers.abstract
Das Inversions-Entrauschungs-Paradigma, das auf Diffusionsmodellen basiert, zeichnet sich durch vielfältige Bildbearbeitungs- und Restaurierungsaufgaben aus. Wir untersuchen seinen Mechanismus neu und decken einen kritischen, übersehenen Faktor für Rekonstruktionsverschlechterung auf: den approximativen Rauschfehler. Dieser Fehler entsteht durch die Annäherung des Rauschens zum Schritt t mit der Vorhersage aus Schritt t-1, was zu einer schwerwiegenden Fehlerakkumulation während des gesamten Inversionsprozesses führt. Wir stellen Projection-Orthogonal Least Squares for Robust and Adaptive Inversion (POLARIS) vor, das die Inversion von einem Fehlerkompensations- in ein Fehlerursprungsproblem umformuliert. Anstatt Einbettungen oder latente Codes zur Kompensation von akkumuliertem Drift zu optimieren, behandelt POLARIS die Führungsgröße ω als schrittweise Variable und leitet eine mathematisch fundierte Formel zur Minimierung des Inversionsfehlers in jedem Schritt ab. Bemerkenswerterweise verbessert POLARIS die Qualität der inversen latenten Repräsentation mit nur einer Codezeile. Bei vernachlässigbarem Leistungsaufwand mildert es approximative Rauschfehler erheblich ab und steigert konsistent die Genauigkeit nachgelagerter Aufgaben.
English
The Inversion-Denoising Paradigm, which is based on diffusion models, excels in diverse image editing and restoration tasks. We revisit its mechanism and reveal a critical, overlooked factor in reconstruction degradation: the approximate noise error. This error stems from approximating the noise at step t with the prediction at step t-1, resulting in severe error accumulation throughout the inversion process. We introduce Projection-Orthogonal Least Squares for Robust and Adaptive Inversion (POLARIS), which reformulates inversion from an error-compensation problem into an error-origin problem. Rather than optimizing embeddings or latent codes to offset accumulated drift, POLARIS treats the guidance scale ω as a step-wise variable and derives a mathematically grounded formula to minimize inversion error at each step. Remarkably, POLARIS improves inversion latent quality with just one line of code. With negligible performance overhead, it substantially mitigates noise approximation errors and consistently improves the accuracy of downstream tasks.