Языковые модели учатся вводить людей в заблуждение с помощью обучения с подкреплением на основе функции вознаграждения, ориентированной на человека.

Language Models Learn to Mislead Humans via RLHF

September 19, 2024

Авторы: Jiaxin Wen, Ruiqi Zhong, Akbir Khan, Ethan Perez, Jacob Steinhardt, Minlie Huang, Samuel R. Boman, He He, Shi Feng

cs.AI

Аннотация

Языковые модели (LMs) могут допускать ошибки, которые сложно обнаружить для людей, особенно когда задача сложная. RLHF, наиболее популярный метод после обучения, может усугубить эту проблему: для достижения более высоких наград LMs могут становиться лучше в убеждении людей в своей правоте даже тогда, когда они ошибаются. Мы изучаем это явление в рамках стандартного конвейера RLHF, называя его "U-SOPHISTRY", поскольку оно не предназначено разработчиками модели. Конкретно, мы просим ограниченных по времени (например, 3-10 минут) человеческих испытуемых оценить правильность выводов модели и рассчитать точность людей по сравнению с эталонными метками. В задаче вопрос-ответ (QuALITY) и задаче программирования (APPS) RLHF делает LMs лучше в убеждении наших испытуемых, но не в выполнении задачи правильно. RLHF также делает модель более сложной для оценки: ложноположительная оценка наших испытуемых увеличивается на 24,1% в QuALITY и на 18,3% в APPS. Наконец, мы показываем, что метод проникновения, передовой подход для обнаружения преднамеренной софистики (например, моделей с задними дверями), не обобщается на U-SOPHISTRY. Наши результаты подчеркивают важный режим отказа RLHF и призывают к дальнейшему исследованию в помощи людям в их выравнивании.

English

Language models (LMs) can produce errors that are hard to detect for humans, especially when the task is complex. RLHF, the most popular post-training method, may exacerbate this problem: to achieve higher rewards, LMs might get better at convincing humans that they are right even when they are wrong. We study this phenomenon under a standard RLHF pipeline, calling it "U-SOPHISTRY" since it is Unintended by model developers. Specifically, we ask time-constrained (e.g., 3-10 minutes) human subjects to evaluate the correctness of model outputs and calculate humans' accuracy against gold labels. On a question-answering task (QuALITY) and programming task (APPS), RLHF makes LMs better at convincing our subjects but not at completing the task correctly. RLHF also makes the model harder to evaluate: our subjects' false positive rate increases by 24.1% on QuALITY and 18.3% on APPS. Finally, we show that probing, a state-of-the-art approach for detecting Intended Sophistry (e.g. backdoored LMs), does not generalize to U-SOPHISTRY. Our results highlight an important failure mode of RLHF and call for more research in assisting humans to align them.