PILAF: Campionamento Ottimale delle Preferenze Umane per la Modellazione del Reward

PILAF: Optimal Human Preference Sampling for Reward Modeling

February 6, 2025

Autori: Yunzhen Feng, Ariel Kwiatkowski, Kunhao Zheng, Julia Kempe, Yaqi Duan

cs.AI

Abstract

Con l'aumentare dei modelli linguistici di grandi dimensioni che guidano sempre più applicazioni reali, allinearli con i valori umani diventa fondamentale. Il Reinforcement Learning from Human Feedback (RLHF) è emerso come una tecnica chiave, traducendo i dati di preferenza in modelli di ricompensa quando i valori umani oracolari rimangono inaccessibili. Nella pratica, RLHF si basa principalmente su modelli di ricompensa approssimati, che potrebbero non guidare in modo coerente la politica verso la massimizzazione dei valori umani sottostanti. Proponiamo il Policy-Interpolated Learning for Aligned Feedback (PILAF), una nuova strategia di campionamento delle risposte per l'etichettatura delle preferenze che allinea esplicitamente l'apprendimento delle preferenze con la massimizzazione della ricompensa oracolare sottostante. PILAF è fondato teoricamente, dimostrando l'ottimalità sia da un punto di vista dell'ottimizzazione che statistico. Il metodo è semplice da implementare e mostra ottime prestazioni in contesti di RLHF iterativi e online in cui la cura del feedback è fondamentale.

English

As large language models increasingly drive real-world applications, aligning them with human values becomes paramount. Reinforcement Learning from Human Feedback (RLHF) has emerged as a key technique, translating preference data into reward models when oracle human values remain inaccessible. In practice, RLHF mostly relies on approximate reward models, which may not consistently guide the policy toward maximizing the underlying human values. We propose Policy-Interpolated Learning for Aligned Feedback (PILAF), a novel response sampling strategy for preference labeling that explicitly aligns preference learning with maximizing the underlying oracle reward. PILAF is theoretically grounded, demonstrating optimality from both an optimization and a statistical perspective. The method is straightforward to implement and demonstrates strong performance in iterative and online RLHF settings where feedback curation is critical.