DeAL: Выравнивание во время декодирования для больших языковых моделей

DeAL: Decoding-time Alignment for Large Language Models

February 5, 2024

Авторы: James Y. Huang, Sailik Sengupta, Daniele Bonadiman, Yi-an Lai, Arshit Gupta, Nikolaos Pappas, Saab Mansour, Katrin Kirchoff, Dan Roth

cs.AI

Аннотация

Крупные языковые модели (LLM) в настоящее время ожидается, что они будут генерировать контент, соответствующий человеческим предпочтениям. Современные исследования сосредоточены на согласовании на этапе обучения модели с использованием таких методов, как обучение с подкреплением на основе человеческой обратной связи (RLHF). Однако остается неясным, являются ли такие методы эффективным способом обучения моделей целям согласования. Во-первых, ключевыми ограничениями являются невозможность включения множества пользовательских наград и зависимость от представлений разработчика модели об универсальных и статических принципах. Во-вторых, остаточные пробелы в обучении модели и надежность таких подходов также вызывают сомнения (например, уязвимость к взлому даже после обучения на безопасность). Для решения этих проблем мы предлагаем DeAL — фреймворк, который позволяет пользователю настраивать функции наград и обеспечивает согласование LLM на этапе декодирования (DeAL). В основе нашего подхода лежит рассмотрение декодирования как процесса поиска, управляемого эвристиками, что позволяет использовать широкий спектр целей согласования. Наши эксперименты с программными ограничениями, такими как ограничения по ключевым словам и длине (широко изучавшиеся в эпоху до LLM), и абстрактными целями, такими как безвредность и полезность (предложенными в эпоху после LLM), показывают, что мы можем эффективно работать с тонкими компромиссами, улучшать соблюдение целей согласования и устранять остаточные пробелы в LLM. Наконец, хотя DeAL может эффективно сочетаться с RLHF и техниками подсказок, его универсальность замедляет процесс декодирования, что является задачей для будущих оптимизаций.

English

Large Language Models (LLMs) are nowadays expected to generate content aligned with human preferences. Current work focuses on alignment at model training time, through techniques such as Reinforcement Learning with Human Feedback (RLHF). However, it is unclear if such methods are an effective choice to teach alignment objectives to the model. First, the inability to incorporate multiple, custom rewards and reliance on a model developer's view of universal and static principles are key limitations. Second, the residual gaps in model training and the reliability of such approaches are also questionable (e.g. susceptibility to jail-breaking even after safety training). To address these, we propose DeAL, a framework that allows the user to customize reward functions and enables Decoding-time Alignment of LLMs (DeAL). At its core, we view decoding as a heuristic-guided search process and facilitate the use of a wide variety of alignment objectives. Our experiments with programmatic constraints such as keyword and length constraints (studied widely in the pre-LLM era) and abstract objectives such as harmlessness and helpfulness (proposed in the post-LLM era) show that we can DeAL with fine-grained trade-offs, improve adherence to alignment objectives, and address residual gaps in LLMs. Lastly, while DeAL can be effectively paired with RLHF and prompting techniques, its generality makes decoding slower, an optimization we leave for future work.