Модификация крупных языковых моделей после обучения для разнообразного творческого письма

Modifying Large Language Model Post-Training for Diverse Creative Writing

March 21, 2025

Авторы: John Joon Young Chung, Vishakh Padmakumar, Melissa Roemmele, Yuqian Sun, Max Kreminski

cs.AI

Аннотация

Поскольку задачи творческого письма не имеют единственно правильных ответов, крупные языковые модели (LLMs), обученные для выполнения этих задач, должны быть способны генерировать разнообразные допустимые результаты. Однако пост-обучение LLM часто сосредоточено на улучшении качества генерации, но упускает из виду необходимость обеспечения разнообразия выходных данных. Поэтому в генерации творческого письма мы исследуем подходы пост-обучения, направленные на повышение как разнообразия, так и качества выходных данных. Наша ключевая идея заключается во включении отклонения — степени различия между обучающим образцом и всеми другими образцами с тем же запросом — в целевую функцию обучения, чтобы облегчить обучение на редких высококачественных примерах. Применяя наш подход к оптимизации прямых предпочтений (DPO) и оптимизации предпочтений на основе отношения шансов (ORPO), мы демонстрируем, что можем повысить разнообразие выходных данных обученных моделей при минимальном снижении качества. Наша лучшая модель с 8 миллиардами параметров смогла достичь уровня разнообразия, сопоставимого с набором данных, созданным людьми, при этом качество выходных данных было аналогично лучшим моделям с настройкой на инструкции, которые мы исследовали, — GPT-4o и DeepSeek-R1. Мы дополнительно подтверждаем наши подходы с помощью человеческой оценки, абляции и сравнения с существующим подходом к диверсификации, DivPO.

English

As creative writing tasks do not have singular correct answers, large language models (LLMs) trained to perform these tasks should be able to generate diverse valid outputs. However, LLM post-training often focuses on improving generation quality but neglects to facilitate output diversity. Hence, in creative writing generation, we investigate post-training approaches to promote both output diversity and quality. Our core idea is to include deviation -- the degree of difference between a training sample and all other samples with the same prompt -- in the training objective to facilitate learning from rare high-quality instances. By adopting our approach to direct preference optimization (DPO) and odds ratio preference optimization (ORPO), we demonstrate that we can promote the output diversity of trained models while minimally decreasing quality. Our best model with 8B parameters could achieve on-par diversity as a human-created dataset while having output quality similar to the best instruction-tuned models we examined, GPT-4o and DeepSeek-R1. We further validate our approaches with a human evaluation, an ablation, and a comparison to an existing diversification approach, DivPO.