Generación Visual Guiada de Manera Gruesa mediante Muestreo por Transformada-h Ponderada
Coarse-Guided Visual Generation via Weighted h-Transform Sampling
March 12, 2026
Autores: Yanghao Wang, Ziqi Jiang, Zhen Wang, Long Chen
cs.AI
Resumen
La generación visual guiada por referencias toscas, que sintetiza muestras visuales detalladas a partir de referencias degradadas o de baja fidelidad, es esencial para diversas aplicaciones del mundo real. Si bien los enfoques basados en entrenamiento son efectivos, están inherentemente limitados por los altos costos de entrenamiento y la generalización restringida debido a la recolección de datos emparejados. En consecuencia, trabajos recientes libres de entrenamiento proponen aprovechar modelos de difusión preentrenados e incorporar guía durante el proceso de muestreo. Sin embargo, estos métodos libres de entrenamiento requieren conocer el operador de transformación directa (de detallado a tosco), por ejemplo, el submuestreo bicúbico, o presentan dificultades para equilibrar la guía con la calidad sintética. Para abordar estos desafíos, proponemos un novedoso método guiado utilizando la h-transformada, una herramienta que puede restringir procesos estocásticos (por ejemplo, el proceso de muestreo) bajo condiciones deseadas. Específicamente, modificamos la probabilidad de transición en cada paso de tiempo del muestreo añadiendo a la ecuación diferencial original una función de deriva, que dirige aproximadamente la generación hacia la muestra detallada ideal. Para abordar los errores de aproximación inevitables, introducimos un programa consciente del nivel de ruido que reduce gradualmente el peso del término a medida que aumenta el error, garantizando tanto la adherencia a la guía como una síntesis de alta calidad. Experimentos exhaustivos en diversas tareas de generación de imágenes y vídeos demuestran la efectividad y generalización de nuestro método.
English
Coarse-guided visual generation, which synthesizes fine visual samples from degraded or low-fidelity coarse references, is essential for various real-world applications. While training-based approaches are effective, they are inherently limited by high training costs and restricted generalization due to paired data collection. Accordingly, recent training-free works propose to leverage pretrained diffusion models and incorporate guidance during the sampling process. However, these training-free methods either require knowing the forward (fine-to-coarse) transformation operator, e.g., bicubic downsampling, or are difficult to balance between guidance and synthetic quality. To address these challenges, we propose a novel guided method by using the h-transform, a tool that can constrain stochastic processes (e.g., sampling process) under desired conditions. Specifically, we modify the transition probability at each sampling timestep by adding to the original differential equation with a drift function, which approximately steers the generation toward the ideal fine sample. To address unavoidable approximation errors, we introduce a noise-level-aware schedule that gradually de-weights the term as the error increases, ensuring both guidance adherence and high-quality synthesis. Extensive experiments across diverse image and video generation tasks demonstrate the effectiveness and generalization of our method.