평형 매칭: 암시적 에너지 기반 모델을 활용한 생성 모델링

초록

우리는 평형 역학 관점에서 구축된 생성 모델링 프레임워크인 Equilibrium Matching(EqM)을 소개한다. EqM은 기존의 확산 및 흐름 기반 생성 모델에서 사용되는 비평형적, 시간 조건적 역학을 버리고, 대신 암묵적 에너지 지형의 평형 기울기를 학습한다. 이를 통해 추론 시 최적화 기반 샘플링 프로세스를 채택할 수 있으며, 여기서 샘플은 학습된 지형에서 조정 가능한 스텝 크기, 적응형 최적화기, 그리고 적응형 계산을 통해 경사 하강법으로 얻어진다. EqM은 실험적으로 확산/흐름 모델의 생성 성능을 능가하며, ImageNet 256×256에서 1.90의 FID를 달성한다. 또한 EqM은 데이터 매니폴드에서 학습하고 샘플링하는 것이 이론적으로 타당하다. 생성 외에도 EqM은 부분적으로 노이즈가 추가된 이미지 노이즈 제거, OOD 탐지, 이미지 합성과 같은 작업을 자연스럽게 처리할 수 있는 유연한 프레임워크이다. 시간 조건적 속도를 통합된 평형 지형으로 대체함으로써, EqM은 흐름 모델과 에너지 기반 모델 사이의 더 긴밀한 연결을 제공하며, 최적화 주도 추론으로 가는 간단한 경로를 제시한다.

English

We introduce Equilibrium Matching (EqM), a generative modeling framework built from an equilibrium dynamics perspective. EqM discards the non-equilibrium, time-conditional dynamics in traditional diffusion and flow-based generative models and instead learns the equilibrium gradient of an implicit energy landscape. Through this approach, we can adopt an optimization-based sampling process at inference time, where samples are obtained by gradient descent on the learned landscape with adjustable step sizes, adaptive optimizers, and adaptive compute. EqM surpasses the generation performance of diffusion/flow models empirically, achieving an FID of 1.90 on ImageNet 256times256. EqM is also theoretically justified to learn and sample from the data manifold. Beyond generation, EqM is a flexible framework that naturally handles tasks including partially noised image denoising, OOD detection, and image composition. By replacing time-conditional velocities with a unified equilibrium landscape, EqM offers a tighter bridge between flow and energy-based models and a simple route to optimization-driven inference.

평형 매칭: 암시적 에너지 기반 모델을 활용한 생성 모델링

Equilibrium Matching: Generative Modeling with Implicit Energy-Based Models

초록

Support