Причины для отклонения? Согласование языковых моделей с суждениями

Reasons to Reject? Aligning Language Models with Judgments

December 22, 2023

Авторы: Weiwen Xu, Deng Cai, Zhisong Zhang, Wai Lam, Shuming Shi

cs.AI

Аннотация

Как люди, мы постоянно взаимодействуем с окружающими и получаем обратную связь в форме естественного языка. Такая языковая обратная связь позволяет нам анализировать свои действия, поддерживать соответствующее поведение и исправлять ошибки. Возникает естественный вопрос: можно ли использовать языковую обратную связь для согласования больших языковых моделей (LLM)? В отличие от предыдущих исследований, которые согласовывали LLM с данными о вознаграждениях или предпочтениях, мы представляем первое систематическое исследование согласования через призму языковой обратной связи (т.е. суждений). Мы начинаем с детального анализа потенциальных методов, которые могут быть адаптированы для согласования LLM с суждениями, и обнаруживаем, что эти методы не способны в полной мере использовать суждения. Для более эффективного использования суждений мы предлагаем новую структуру — Контрастное обучение с маловероятностью (Contrastive Unlikelihood Training, CUT), которая позволяет осуществлять детектирование и исправление неподходящего контента на основе суждений. Наши результаты оффлайн-согласования показывают, что с использованием всего 1317 готовых данных суждений CUT (LLaMA2-13b) может превзойти модель DaVinci003 с 175 миллиардами параметров и опередить лучший базовый метод на 52,34 балла на AlpacaEval. Результаты онлайн-согласования демонстрируют, что CUT может согласовывать LLM (LLaMA2-chat-13b) итеративно, используя специфические для модели данные суждений, с устойчивым улучшением производительности с 81,09 до 91,36 баллов на AlpacaEval. Наш анализ также указывает на то, что суждения обладают большим потенциалом, чем вознаграждения, для согласования LLM и заслуживают дальнейших исследований.

English

As humans, we consistently engage in interactions with our peers and receive feedback in the form of natural language. This language feedback allows us to reflect on our actions, maintain appropriate behavior, and rectify our errors. The question arises naturally: can we use language feedback to align large language models (LLMs)? In contrast to previous research that aligns LLMs with reward or preference data, we present the first systematic exploration of alignment through the lens of language feedback (i.e., judgment). We commence with an in-depth investigation of potential methods that can be adapted for aligning LLMs with judgments, revealing that these methods are unable to fully capitalize on the judgments. To facilitate more effective utilization of judgments, we propose a novel framework, Contrastive Unlikelihood Training (CUT), that allows for fine-grained inappropriate content detection and correction based on judgments. Our offline alignment results show that, with merely 1317 off-the-shelf judgment data, CUT (LLaMA2-13b) can beat the 175B DaVinci003 and surpass the best baseline by 52.34 points on AlpacaEval. The online alignment results demonstrate that CUT can align LLMs (LLaMA2-chat-13b) in an iterative fashion using model-specific judgment data, with a steady performance improvement from 81.09 to 91.36 points on AlpacaEval. Our analysis further suggests that judgments exhibit greater potential than rewards for LLM alignment and warrant future research.