생성하는 동안 사고하기: 계획된 노이즈 제거와 이산 확산

Think While You Generate: Discrete Diffusion with Planned Denoising

October 8, 2024

저자: Sulin Liu, Juno Nam, Andrew Campbell, Hannes Stärk, Yilun Xu, Tommi Jaakkola, Rafael Gómez-Bombarelli

cs.AI

초록

이산 확산은 표준 벤치마크에서 자가 회귀 모델을 능가하거나 근접하는 최첨단 성능을 달성했습니다. 본 연구에서는 이산 확산과 계획된 노이즈 제거(DDPD)를 소개합니다. 이는 생성 과정을 계획자와 노이즈 제거기 두 모델로 분리하는 혁신적인 프레임워크입니다. 추론 시에 계획자는 노이즈 제거가 필요한 가장 오염된 위치를 식별하여 다음에 어떤 위치를 먼저 정리할지 선택합니다. 이러한 계획 및 노이즈 제거 접근 방식은 최적 순서로 오염을 식별하고 제거함으로써 생성 중에 더 효율적인 재구성을 가능하게 합니다. DDPD는 전통적인 노이즈 제거 전용 마스크 확산 방법을 능가하여 text8, OpenWebText 및 ImageNet 256x256에서의 토큰 기반 생성을 포함한 언어 모델링 벤치마크에서 우수한 결과를 달성했습니다. 특히, 언어 모델링에서 DDPD는 생성적 퍼플렉서티 측면에서 확산 기반과 자가 회귀 방법 사이의 성능 차이를 크게 줄였습니다. 코드는 https://github.com/liusulin/DDPD에서 확인할 수 있습니다.

English

Discrete diffusion has achieved state-of-the-art performance, outperforming or approaching autoregressive models on standard benchmarks. In this work, we introduce Discrete Diffusion with Planned Denoising (DDPD), a novel framework that separates the generation process into two models: a planner and a denoiser. At inference time, the planner selects which positions to denoise next by identifying the most corrupted positions in need of denoising, including both initially corrupted and those requiring additional refinement. This plan-and-denoise approach enables more efficient reconstruction during generation by iteratively identifying and denoising corruptions in the optimal order. DDPD outperforms traditional denoiser-only mask diffusion methods, achieving superior results on language modeling benchmarks such as text8, OpenWebText, and token-based generation on ImageNet 256 times 256. Notably, in language modeling, DDPD significantly reduces the performance gap between diffusion-based and autoregressive methods in terms of generative perplexity. Code is available at https://github.com/liusulin/DDPD.