GenARM: Belohnungsgesteuerte Generierung mit autoregressivem Belohnungsmodell für die Ausrichtung zur Testzeit

GenARM: Reward Guided Generation with Autoregressive Reward Model for Test-time Alignment

October 10, 2024

Autoren: Yuancheng Xu, Udari Madhushani Sehwag, Alec Koppel, Sicheng Zhu, Bang An, Furong Huang, Sumitra Ganesh

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen beeindruckende Fähigkeiten, erfordern jedoch eine sorgfältige Ausrichtung an menschlichen Präferenzen. Traditionelle Trainingsmethoden verfeinern LLMs mithilfe von menschlichen Präferenzdatensätzen, was jedoch erhebliche Schulungskosten verursacht und wiederholtes Training erfordert, um unterschiedliche Benutzerpräferenzen zu berücksichtigen. Testzeit-Ausrichtungsmethoden lösen dieses Problem, indem sie Belohnungsmodelle (RMs) verwenden, um eingefrorene LLMs ohne erneutes Training zu lenken. Allerdings stützen sich bestehende Testzeit-Ansätze auf Trajektorien-basierte RMs, die darauf ausgelegt sind, vollständige Antworten zu bewerten, was sie ungeeignet für die autoregressive Textgenerierung macht, die die Berechnung von Belohnungen für das nächste Token aus teilweisen Antworten erfordert. Um dies zu lösen, stellen wir GenARM vor, einen Testzeit-Ausrichtungsansatz, der das Autoregressive Belohnungsmodell nutzt - eine neuartige Belohnungsparametrisierung, die darauf ausgelegt ist, Belohnungen für das nächste Token effizient und effektiv bei der autoregressiven Generierung vorherzusagen. Theoretisch zeigen wir, dass diese Parametrisierung eingefrorene LLMs nachweislich in jede von traditionellen RMs innerhalb des KL-regulierten Verstärkungslernrahmens erreichbare Verteilung lenken kann. Experimentelle Ergebnisse zeigen, dass GenARM signifikant besser abschneidet als frühere Testzeit-Ausrichtungs-Baselines und die Leistung von Trainingszeit-Methoden erreicht. Darüber hinaus ermöglicht GenARM eine effiziente schwach-zu-stark Ausrichtung, indem es größere LLMs mit kleineren RMs ohne hohe Trainingskosten abstimmt. Des Weiteren unterstützt GenARM die Mehrziel-Ausrichtung, was Echtzeit-Kompromisse zwischen Präferenzdimensionen ermöglicht und auf vielfältige Benutzerpräferenzen ohne erneutes Training eingeht.

English

Large Language Models (LLMs) exhibit impressive capabilities but require careful alignment with human preferences. Traditional training-time methods finetune LLMs using human preference datasets but incur significant training costs and require repeated training to handle diverse user preferences. Test-time alignment methods address this by using reward models (RMs) to guide frozen LLMs without retraining. However, existing test-time approaches rely on trajectory-level RMs which are designed to evaluate complete responses, making them unsuitable for autoregressive text generation that requires computing next-token rewards from partial responses. To address this, we introduce GenARM, a test-time alignment approach that leverages the Autoregressive Reward Model--a novel reward parametrization designed to predict next-token rewards for efficient and effective autoregressive generation. Theoretically, we demonstrate that this parametrization can provably guide frozen LLMs toward any distribution achievable by traditional RMs within the KL-regularized reinforcement learning framework. Experimental results show that GenARM significantly outperforms prior test-time alignment baselines and matches the performance of training-time methods. Additionally, GenARM enables efficient weak-to-strong guidance, aligning larger LLMs with smaller RMs without the high costs of training larger models. Furthermore, GenARM supports multi-objective alignment, allowing real-time trade-offs between preference dimensions and catering to diverse user preferences without retraining.