Matching Adjunto Q com Região de Confiança

Resumo

O aprendizado por reforço fora da política de políticas de fluxo pré-treinadas continua desafiador devido à instabilidade da otimização decorrente do processo de amostragem em múltiplas etapas. Recentemente, o Aprendizado Q com Correspondência Adjunta (QAM) abordou esse problema reformulando-o em um problema de controle ótimo estocástico (SOC) sem memória com um crítico aprendido. No entanto, o QAM herda uma fragilidade fundamental do aprimoramento guiado por críticos: pequenos erros do crítico são amplificados quando os críticos estão mal condicionados, frequentemente levando ao colapso do modelo. Este artigo introduz a Correspondência Q-Adjunta de Região de Confiança (TRQAM), um algoritmo estável de ajuste fino fora da política que controla adaptativamente a divergência KL no espaço de trajetórias em relação a políticas de fluxo pré-treinadas por meio de descida dual projetada. Especificamente, otimizamos o parâmetro de região de confiança λ na dinâmica do SOC e mostramos teoricamente que a KL no espaço de trajetórias pode ser representada por uma função de forma fechada de λ. Como resultado, nosso método pode controlar precisamente o desvio exato das políticas de fluxo pré-treinadas, alcançando um RL fora da política estável. Por meio de experimentos em 50 tarefas do OGBench, o TRQAM supera consistentemente as técnicas anteriores tanto em RL offline quanto em RL offline para online. Em particular, o TRQAM atinge uma taxa de sucesso geral de 68% em RL offline, melhorando substancialmente a linha de base mais forte, de 46%.

English

Off-policy reinforcement learning of pretrained flow policies remains challenging due to the instability of optimization arising from the multi-step sampling process. Recently, Q-learning with Adjoint Matching (QAM) addressed this issue by reformulating into a memoryless stochastic optimal control (SOC) problem with a learned critic. However, QAM inherits a fundamental fragility of critic-guided improvement: small critic errors are amplified when critics are ill-conditioned, often leading to model collapse. This paper introduces Trust Region Q-Adjoint Matching (TRQAM), a stable off-policy fine-tuning algorithm that adaptively controls the path-space KL with pretrained flow policies through projected dual descent. Specifically, we optimize the trust-region parameter λ in SOC dynamics, and theoretically show that the path-space KL can be represented by a closed-form function of λ. As a result, our method can precisely control the exact deviation from pretrained flow policies, achieving stable off-policy RL. Through experiments on 50 OGBench tasks, TRQAM consistently outperforms prior arts in both offline RL and offline-to-online RL. In particular, TRQAM achieves an overall success rate of 68% in offline RL, substantially improves the strongest baseline at 46%.