Эффективное исследование в больших масштабах

Efficient Exploration at Scale

March 18, 2026

Авторы: Seyed Mohammad Asghari, Chris Chute, Vikranth Dwaracherla, Xiuyuan Lu, Mehdi Jafarnia, Victor Minden, Zheng Wen, Benjamin Van Roy

cs.AI

Аннотация

Мы разрабатываем алгоритм онлайн-обучения, который значительно повышает эффективность использования данных при обучении с подкреплением на основе человеческих предпочтений (RLHF). Наш алгоритм инкрементально обновляет модели вознаграждения и языковые модели по мере поступления данных о выборах. Модель вознаграждения адаптируется к данным о выборах, в то время как языковая модель обновляется с помощью модификации алгоритма REINFORCE, где сигналы подкрепления предоставляются моделью вознаграждения. Повышение эффективности обеспечивается несколькими особенностями: небольшим положительным смещением, добавляемым к каждому сигналу подкрепления, использованием эпистемической нейронной сети, моделирующей неопределенность вознаграждения, и исследованием, направляемым информацией. При использовании больших языковых моделей (LLM) Gemma наш алгоритм достигает производительности офлайн RLHF, обученного на 200 тыс. разметок, используя менее 20 тыс. разметок, что демонстрирует более чем 10-кратный выигрыш в эффективности данных. Экстраполируя наши результаты, мы ожидаем, что наш алгоритм, обученный на 1 млн разметок, достигнет результатов офлайн RLHF, обученного на 1 млрд разметок. Это представляет собой 1000-кратное улучшение. Насколько нам известно, это первые результаты, демонстрирующие возможность столь значительных улучшений.

English

We develop an online learning algorithm that dramatically improves the data efficiency of reinforcement learning from human feedback (RLHF). Our algorithm incrementally updates reward and language models as choice data is received. The reward model is fit to the choice data, while the language model is updated by a variation of reinforce, with reinforcement signals provided by the reward model. Several features enable the efficiency gains: a small affirmative nudge added to each reinforcement signal, an epistemic neural network that models reward uncertainty, and information-directed exploration. With Gemma large language models (LLMs), our algorithm matches the performance of offline RLHF trained on 200K labels using fewer than 20K labels, representing more than a 10x gain in data efficiency. Extrapolating from our results, we expect our algorithm trained on 1M labels to match offline RLHF trained on 1B labels. This represents a 1,000x gain. To our knowledge, these are the first results to demonstrate that such large improvements are possible.