RewardSDS: Allineamento della Distillazione del Punteggio tramite Campionamento Ponderato dalla Ricompensa

RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

March 12, 2025

Autori: Itay Chachy, Guy Yariv, Sagie Benaim

cs.AI

Abstract

Lo Score Distillation Sampling (SDS) si è affermato come una tecnica efficace per sfruttare i prior di diffusione 2D in compiti come la generazione di testo in 3D. Sebbene potente, l'SDS fatica a raggiungere un allineamento granulare con l'intento dell'utente. Per superare questo limite, introduciamo RewardSDS, un approccio innovativo che pondera i campioni di rumore in base ai punteggi di allineamento provenienti da un modello di ricompensa, producendo una perdita SDS ponderata. Questa perdita privilegia i gradienti provenienti da campioni di rumore che generano output allineati e ad alto punteggio. Il nostro approccio è ampiamente applicabile e può estendere i metodi basati su SDS. In particolare, ne dimostriamo l'applicabilità al Variational Score Distillation (VSD) introducendo RewardVSD. Valutiamo RewardSDS e RewardVSD su compiti di generazione da testo a immagine, editing 2D e generazione da testo a 3D, mostrando miglioramenti significativi rispetto a SDS e VSD su un insieme diversificato di metriche che misurano la qualità della generazione e l'allineamento ai modelli di ricompensa desiderati, consentendo prestazioni all'avanguardia. La pagina del progetto è disponibile all'indirizzo https://itaychachy.github.io/reward-sds/.

English

Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.