Omgekeerde brugovereenkomstverdichting

Inverse Bridge Matching Distillation

February 3, 2025

Auteurs: Nikita Gushchin, David Li, Daniil Selikhanovych, Evgeny Burnaev, Dmitry Baranchuk, Alexander Korotin

cs.AI

Samenvatting

Het leren van diffusiebrugmodellen is eenvoudig; ze snel en praktisch maken is een kunst. Diffusiebrugmodellen (DBM's) vormen een veelbelovende uitbreiding van diffusiemarkten voor toepassingen in beeld-naar-beeldvertaling. Echter, net als veel moderne diffusie- en stroommodellen, hebben DBM's last van het probleem van trage inferentie. Om dit aan te pakken, stellen we een nieuwe distillatietechniek voor op basis van de formulering van omgekeerde brugovereenkomst en leiden we het haalbare doel af om het in de praktijk op te lossen. In tegenstelling tot eerder ontwikkelde DBM-distillatietechnieken, kan de voorgestelde methode zowel conditionele als onvoorwaardelijke typen DBM's distilleren, modellen distilleren in een generator in één stap, en alleen de beschadigde afbeeldingen gebruiken voor training. We evalueren onze aanpak voor zowel conditionele als onvoorwaardelijke typen brugovereenkomsten in een breed scala van opstellingen, waaronder superresolutie, JPEG-herstel, schets-naar-afbeelding en andere taken, en tonen aan dat onze distillatietechniek ons in staat stelt de inferentie van DBM's te versnellen van 4x tot 100x en zelfs een betere generatiekwaliteit te bieden dan het gebruikte docentmodel, afhankelijk van de specifieke opstelling.

English

Learning diffusion bridge models is easy; making them fast and practical is an art. Diffusion bridge models (DBMs) are a promising extension of diffusion models for applications in image-to-image translation. However, like many modern diffusion and flow models, DBMs suffer from the problem of slow inference. To address it, we propose a novel distillation technique based on the inverse bridge matching formulation and derive the tractable objective to solve it in practice. Unlike previously developed DBM distillation techniques, the proposed method can distill both conditional and unconditional types of DBMs, distill models in a one-step generator, and use only the corrupted images for training. We evaluate our approach for both conditional and unconditional types of bridge matching on a wide set of setups, including super-resolution, JPEG restoration, sketch-to-image, and other tasks, and show that our distillation technique allows us to accelerate the inference of DBMs from 4x to 100x and even provide better generation quality than used teacher model depending on particular setup.