Modifica Post-Addestramento di Modelli Linguistici di Grandi Dimensioni per la Scrittura Creativa Diversificata

Modifying Large Language Model Post-Training for Diverse Creative Writing

March 21, 2025

Autori: John Joon Young Chung, Vishakh Padmakumar, Melissa Roemmele, Yuqian Sun, Max Kreminski

cs.AI

Abstract

Poiché i compiti di scrittura creativa non hanno risposte singolarmente corrette, i grandi modelli linguistici (LLM) addestrati per eseguire tali compiti dovrebbero essere in grado di generare output validi e diversificati. Tuttavia, il post-addestramento degli LLM spesso si concentra sul miglioramento della qualità della generazione, trascurando la promozione della diversità degli output. Pertanto, nella generazione di testi creativi, esploriamo approcci di post-addestramento che favoriscano sia la diversità che la qualità degli output. La nostra idea centrale è includere la deviazione — il grado di differenza tra un campione di addestramento e tutti gli altri campioni con lo stesso prompt — nell'obiettivo di addestramento per facilitare l'apprendimento da istanze rare e di alta qualità. Adottando il nostro approccio all'ottimizzazione diretta delle preferenze (DPO) e all'ottimizzazione delle preferenze basata sul rapporto di probabilità (ORPO), dimostriamo di poter promuovere la diversità degli output dei modelli addestrati riducendo al minimo il calo di qualità. Il nostro miglior modello con 8 miliardi di parametri è stato in grado di raggiungere una diversità paragonabile a un dataset creato da esseri umani, mantenendo una qualità degli output simile ai migliori modelli ottimizzati per istruzioni che abbiamo esaminato, GPT-4o e DeepSeek-R1. Validiamo ulteriormente i nostri approcci con una valutazione umana, un'ablazione e un confronto con un approccio esistente di diversificazione, DivPO.

English

As creative writing tasks do not have singular correct answers, large language models (LLMs) trained to perform these tasks should be able to generate diverse valid outputs. However, LLM post-training often focuses on improving generation quality but neglects to facilitate output diversity. Hence, in creative writing generation, we investigate post-training approaches to promote both output diversity and quality. Our core idea is to include deviation -- the degree of difference between a training sample and all other samples with the same prompt -- in the training objective to facilitate learning from rare high-quality instances. By adopting our approach to direct preference optimization (DPO) and odds ratio preference optimization (ORPO), we demonstrate that we can promote the output diversity of trained models while minimally decreasing quality. Our best model with 8B parameters could achieve on-par diversity as a human-created dataset while having output quality similar to the best instruction-tuned models we examined, GPT-4o and DeepSeek-R1. We further validate our approaches with a human evaluation, an ablation, and a comparison to an existing diversification approach, DivPO.