Guida Adattiva senza Classificatore tramite Mascheramento Dinamico a Bassa Confidenza

Adaptive Classifier-Free Guidance via Dynamic Low-Confidence Masking

May 26, 2025

Autori: Pengxiang Li, Shilin Yan, Joey Tsai, Renrui Zhang, Ruichuan An, Ziyu Guo, Xiaowei Gao

cs.AI

Abstract

La Classifier-Free Guidance (CFG) migliora significativamente la controllabilità nei modelli generativi interpolando previsioni condizionate e non condizionate. Tuttavia, la CFG standard utilizza spesso un input non condizionato statico, che può risultare subottimale per processi di generazione iterativa in cui l'incertezza del modello varia dinamicamente. Introduciamo l'Adaptive Classifier-Free Guidance (A-CFG), un metodo innovativo che personalizza l'input non condizionato sfruttando la fiducia predittiva istantanea del modello. A ogni passo di un modello linguistico di diffusione mascherato iterativo, l'A-CFG identifica i token nella sequenza generata per i quali il modello mostra una bassa confidenza. Questi token vengono temporaneamente rimascherati per creare un input non condizionato dinamico e localizzato. Ciò concentra l'influenza correttiva della CFG precisamente sulle aree di ambiguità, portando a una guida più efficace. Integriamo l'A-CFG in un modello linguistico di diffusione mascherato all'avanguardia e ne dimostriamo l'efficacia. Esperimenti su vari benchmark di generazione linguistica mostrano che l'A-CFG apporta miglioramenti sostanziali rispetto alla CFG standard, ottenendo, ad esempio, un guadagno di 3,9 punti su GPQA. Il nostro lavoro evidenzia il vantaggio di adattare dinamicamente i meccanismi di guida all'incertezza del modello nella generazione iterativa.

English

Classifier-Free Guidance (CFG) significantly enhances controllability in generative models by interpolating conditional and unconditional predictions. However, standard CFG often employs a static unconditional input, which can be suboptimal for iterative generation processes where model uncertainty varies dynamically. We introduce Adaptive Classifier-Free Guidance (A-CFG), a novel method that tailors the unconditional input by leveraging the model's instantaneous predictive confidence. At each step of an iterative (masked) diffusion language model, A-CFG identifies tokens in the currently generated sequence for which the model exhibits low confidence. These tokens are temporarily re-masked to create a dynamic, localized unconditional input. This focuses CFG's corrective influence precisely on areas of ambiguity, leading to more effective guidance. We integrate A-CFG into a state-of-the-art masked diffusion language model and demonstrate its efficacy. Experiments on diverse language generation benchmarks show that A-CFG yields substantial improvements over standard CFG, achieving, for instance, a 3.9 point gain on GPQA. Our work highlights the benefit of dynamically adapting guidance mechanisms to model uncertainty in iterative generation.