RewardSDS: Alineación de la Distilación de Puntuaciones mediante Muestreo Ponderado por Recompensas

RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

March 12, 2025

Autores: Itay Chachy, Guy Yariv, Sagie Benaim

cs.AI

Resumen

El Muestreo de Distilación de Puntuaciones (Score Distillation Sampling, SDS) ha surgido como una técnica efectiva para aprovechar los modelos previos de difusión 2D en tareas como la generación de texto a 3D. Aunque potente, SDS enfrenta dificultades para lograr una alineación detallada con la intención del usuario. Para superar esto, presentamos RewardSDS, un enfoque novedoso que pondera las muestras de ruido basándose en puntuaciones de alineación provenientes de un modelo de recompensa, produciendo una pérdida SDS ponderada. Esta pérdida prioriza los gradientes de las muestras de ruido que generan resultados alineados y de alta recompensa. Nuestro enfoque es ampliamente aplicable y puede extender métodos basados en SDS. En particular, demostramos su aplicabilidad a la Distilación de Puntuaciones Variacional (Variational Score Distillation, VSD) mediante la introducción de RewardVSD. Evaluamos RewardSDS y RewardVSD en tareas de generación de texto a imagen, edición 2D y generación de texto a 3D, mostrando mejoras significativas sobre SDS y VSD en un conjunto diverso de métricas que miden la calidad de la generación y la alineación con los modelos de recompensa deseados, logrando un rendimiento de vanguardia. La página del proyecto está disponible en https://itaychachy.github.io/reward-sds/.

English

Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.