분산 감소 흐름 정합을 위한 시간적 쌍 일관성

초록

확산 모델, 흐름 매칭, 정류 흐름과 같은 연속시간 생성 모델은 시간 종속 벡터 장을 학습하지만, 일반적으로 타임스텝을 독립적으로 처리하는 목적 함수로 학습되어 높은 추정량 분산과 비효율적인 샘플링을 초래합니다. 기존 접근법은 명시적 평활성 패널티, 궤적 정규화 또는 수정된 확률 경로와 솔버를 통해 이를 완화해 왔습니다. 본 연구에서는 동일한 확률 경로 상에서 짝을 이룬 타임스텝에서의 속도 예측을 결합하는 경량화된 분산 감소 원리인 시간적 쌍 일관성(Temporal Pair Consistency, TPC)을 제안합니다. TPC는 모델 구조, 확률 경로 또는 솔버를 수정하지 않고 완전히 추정량 수준에서 작동합니다. 우리는 TPC가 기저의 흐름 매칭 목적 함수를 보존하면서 그래디언트 분산을 이론적으로 감소시키는 이차 궤적 결합 정규화를 유도함을 보이는 이론적 분석을 제공합니다. 흐름 매칭 내에서 구현된 TPC는 CIFAR-10 및 다양한 해상도의 ImageNet에서 샘플 품질과 효율성을 개선하며, 동일하거나 더 낮은 계산 비용으로 기존 방법보다 낮은 FID를 달성합니다. 또한 노이즈 증강 학습, 점수 기반 잡음 제거 및 정류 흐름을 포함한 현대적인 SOTA 스타일 파이프라인으로 원활하게 확장됩니다.

English

Continuous-time generative models, such as diffusion models, flow matching, and rectified flow, learn time-dependent vector fields but are typically trained with objectives that treat timesteps independently, leading to high estimator variance and inefficient sampling. Prior approaches mitigate this via explicit smoothness penalties, trajectory regularization, or modified probability paths and solvers. We introduce Temporal Pair Consistency (TPC), a lightweight variance-reduction principle that couples velocity predictions at paired timesteps along the same probability path, operating entirely at the estimator level without modifying the model architecture, probability path, or solver. We provide a theoretical analysis showing that TPC induces a quadratic, trajectory-coupled regularization that provably reduces gradient variance while preserving the underlying flow-matching objective. Instantiated within flow matching, TPC improves sample quality and efficiency across CIFAR-10 and ImageNet at multiple resolutions, achieving lower FID at identical or lower computational cost than prior methods, and extends seamlessly to modern SOTA-style pipelines with noise-augmented training, score-based denoising, and rectified flow.

분산 감소 흐름 정합을 위한 시간적 쌍 일관성

Temporal Pair Consistency for Variance-Reduced Flow Matching

초록

Support