LongReward: Улучшение моделей языка с длинным контекстом с помощью искусственного интеллекта Обратная связь

LongReward: Improving Long-context Large Language Models with AI Feedback

October 28, 2024

Авторы: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

cs.AI

Аннотация

Хотя значительные достижения были достигнуты в разработке моделей большого размера с длинным контекстом (LLM), компрометированное качество данных, синтезированных LLM для обучения с учителем (SFT), часто влияет на производительность моделей SFT с длинным контекстом и приводит к врожденным ограничениям. В принципе, обучение с подкреплением (RL) с соответствующими сигналами вознаграждения может дополнительно улучшить способности моделей. Однако остается неразработанным, как получить надежные вознаграждения в сценариях с длинным контекстом. Для этого мы предлагаем LongReward, новый метод, который использует готовую к использованию LLM для предоставления вознаграждений для ответов модели с длинным контекстом из четырех человеческих измерений ценности: полезности, логичности, верности и полноты, каждое с тщательно разработанной оценочной процедурой. Совмещая LongReward и алгоритм обучения с подкреплением DPO в автономном режиме, мы можем эффективно улучшить модели SFT с длинным контекстом. Наши эксперименты показывают, что LongReward не только значительно улучшает производительность моделей с длинным контекстом, но также повышает их способность следовать кратким инструкциям. Мы также обнаружили, что DPO с длинным контекстом с использованием LongReward и традиционный DPO с кратким контекстом могут использоваться вместе, не ухудшая производительность ни одного из них.

English

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.