DiffusionART: 효율적이고 안정적이며 확장 가능한 확산 모델 강화

초록

온라인 강화학습(RL)은 블랙박스 보상을 사용하여 확산 모델을 미세 조정하지만, Flow-GRPO와 같은 역방향 과정 방법은 빈약한 크레디트 할당으로 인해 효율성에 한계가 있고, DiffusionNFT와 같은 정방향 과정 방법은 효율적이지만 세심하게 튜닝된 지수 이동 평균(EMA) 오프-폴리시 학습 없이는 불안정하다. 우리는 NFT 스타일 목적함수가 숨겨진 정방향-역방향 일관성 강제력을 포함하며, 양성-음성 결합 학습이 이를 부분적으로만 상쇄한다는 것과 EMA가 오프-폴리시 롤아웃이 아니라 복원을 통해 학습을 안정화한다는 것을 보인다. 우리는 DiffusionART(집계 우선 보상 틸팅을 통한 확산 강화)를 제안한다. 이는 각 프롬프트의 보상을 역방향 과정 상태에 대한 공유된 보상 개선 방향으로 집계하여 구성상 일관성 강제력을 제거하고, EMA 튜닝 없이 드리프트 적응형 복원을 위한 신뢰 영역 마스크된 두 번째 업데이트를 추가한다. 이는 미분 가능한 보상 모델을 필요로 하지 않으며, 프롬프트당 더 적은 샘플로도 효과적이고, 쌍별 보상 모델(DiffusionART-Pairwise)을 지원한다. 이미지 및 비디오 생성 전반에서 DiffusionART는 작업별 튜닝 없이 효율적이고 안정적으로 학습한다. 특히, 시각 및 모션 품질 보상에 동일 가중치를 둔 HunyuanVideo-13B에서 DiffusionART는 각각 12.02배와 11.72배 더 적은 GPU 시간으로 DiffusionNFT와 Flow-GRPO-Fast의 후반부 평균 보상 수준에 도달하며, 평균 학습 보상은 각각 28.8%와 53.0% 더 높게 달성한다.

English

Online reinforcement learning (RL) fine-tunes diffusion models with black-box rewards, but reverse-process methods such as Flow-GRPO are limited in efficiency by poor credit assignment, while forward-process methods such as DiffusionNFT are efficient yet unstable without carefully tuned exponential-moving-average (EMA) off-policy training. We show that NFT-style objectives contain a hidden forward--reverse consistency force that joint positive--negative training cancels only partially, and that EMA stabilizes training through restoration rather than off-policy rollouts. We introduce DiffusionART (Diffusion Reinforcement with Aggregation-First Reward Tilting), which aggregates each prompt's rewards into a shared reward-improving direction for reverse-process states, removing the consistency force by construction, and adds a trust-region-masked second update for drift-adaptive restoration without EMA tuning. It requires no differentiable reward model, remains effective with fewer samples per prompt, and supports pairwise reward models (DiffusionART-Pairwise). Across image and video generation, DiffusionART trains efficiently and stably without per-task tuning. In particular, on HunyuanVideo-13B with equally weighted visual and motion quality rewards, DiffusionART reaches the late-stage mean reward levels of DiffusionNFT and Flow-GRPO-Fast with 12.02 and 11.72 times fewer GPU hours, respectively, while achieving 28.8% and 53.0% higher mean training rewards.

DiffusionART: 효율적이고 안정적이며 확장 가능한 확산 모델 강화

DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models

초록

Support