Misurazione della memorizzazione nell'RLHF per il completamento del codice

Measuring memorization in RLHF for code completion

June 17, 2024

Autori: Aneesh Pappu, Billy Porter, Ilia Shumailov, Jamie Hayes

cs.AI

Abstract

L'apprendimento per rinforzo con feedback umano (RLHF) è diventato il metodo predominante per allineare i modelli di grandi dimensioni alle preferenze degli utenti. A differenza del fine-tuning, per il quale esistono numerosi studi riguardanti la memorizzazione dei dati di addestramento, non è chiaro come la memorizzazione sia influenzata o introdotta nel processo di allineamento RLHF. Comprendere questa relazione è importante poiché i dati reali degli utenti potrebbero essere raccolti e utilizzati per allineare i modelli di grandi dimensioni; se i dati degli utenti venissero memorizzati durante l'RLHF e successivamente riproposti, ciò potrebbe sollevare preoccupazioni relative alla privacy. In questo lavoro, analizziamo come la memorizzazione dei dati di addestramento possa emergere e propagarsi attraverso ciascuna fase dell'RLHF. Concentriamo il nostro studio sui modelli di completamento del codice, poiché il completamento del codice è uno degli utilizzi più popolari dei modelli linguistici di grandi dimensioni. Scopriamo che l'RLHF riduce significativamente la probabilità che i dati utilizzati per la modellazione della ricompensa e l'apprendimento per rinforzo vengano memorizzati, rispetto all'allineamento tramite il fine-tuning diretto su questi dati, ma che gli esempi già memorizzati durante la fase di fine-tuning dell'RLHF, nella maggior parte dei casi, rimangono memorizzati anche dopo l'RLHF.

English

Reinforcement learning with human feedback (RLHF) has become the dominant method to align large models to user preferences. Unlike fine-tuning, for which there are many studies regarding training data memorization, it is not clear how memorization is affected by or introduced in the RLHF alignment process. Understanding this relationship is important as real user data may be collected and used to align large models; if user data is memorized during RLHF and later regurgitated, this could raise privacy concerns. In this work, we analyze how training data memorization can surface and propagate through each phase of RLHF. We focus our study on code completion models, as code completion is one of the most popular use cases for large language models. We find that RLHF significantly decreases the chance that data used for reward modeling and reinforcement learning is memorized, in comparison to aligning via directly fine-tuning on this data, but that examples already memorized during the fine-tuning stage of RLHF, will, in the majority of cases, remain memorized after RLHF.