CoEdIT: Modifica del Testo mediante Adattamento Specifico per Compiti di Istruzione

CoEdIT: Text Editing by Task-Specific Instruction Tuning

May 17, 2023

Autori: Vipul Raheja, Dhruv Kumar, Ryan Koo, Dongyeop Kang

cs.AI

Abstract

La modifica o revisione del testo è una funzione essenziale del processo di scrittura umana. Comprendere le capacità dei modelli linguistici di grandi dimensioni (LLM) nel realizzare revisioni di alta qualità e collaborare con scrittori umani rappresenta un passo cruciale verso lo sviluppo di assistenti di scrittura efficaci. Sfruttando i precedenti successi degli LLM e del fine-tuning su istruzioni, utilizziamo LLM ottimizzati su istruzioni per la revisione del testo, al fine di migliorare la qualità dei testi generati dagli utenti e aumentare l'efficienza del processo. Introduciamo CoEdIT, un modello all'avanguardia per la modifica del testo nell'ambito dell'assistenza alla scrittura. CoEdIT riceve istruzioni dall'utente che specificano gli attributi del testo desiderato, come "Rendi la frase più semplice" o "Riscrivila in uno stile più neutrale", e restituisce il testo modificato. Presentiamo un modello linguistico di grandi dimensioni ottimizzato su una vasta raccolta di istruzioni specifiche per la modifica del testo (per un totale di 82K istruzioni). Il nostro modello (1) raggiunge prestazioni all'avanguardia su vari benchmark di modifica del testo, (2) è competitivo con i più grandi LLM disponibili pubblicamente addestrati su istruzioni, pur essendo 60 volte più piccolo, (3) è in grado di generalizzare a istruzioni di modifica non viste precedentemente e (4) mostra capacità di comprensione compositiva per generalizzare a istruzioni che contengono diverse combinazioni di azioni di modifica. Attraverso un'ampia analisi qualitativa e quantitativa, dimostriamo che gli scrittori preferiscono le modifiche suggerite da CoEdIT rispetto ad altri modelli all'avanguardia per la modifica del testo. Il nostro codice e il dataset sono disponibili pubblicamente.

English

Text editing or revision is an essential function of the human writing process. Understanding the capabilities of LLMs for making high-quality revisions and collaborating with human writers is a critical step toward building effective writing assistants. With the prior success of LLMs and instruction tuning, we leverage instruction-tuned LLMs for text revision to improve the quality of user-generated text and improve the efficiency of the process. We introduce CoEdIT, a state-of-the-art text editing model for writing assistance. CoEdIT takes instructions from the user specifying the attributes of the desired text, such as "Make the sentence simpler" or "Write it in a more neutral style," and outputs the edited text. We present a large language model fine-tuned on a diverse collection of task-specific instructions for text editing (a total of 82K instructions). Our model (1) achieves state-of-the-art performance on various text editing benchmarks, (2) is competitive with publicly available largest-sized LLMs trained on instructions while being sim60x smaller, (3) is capable of generalizing to unseen edit instructions, and (4) exhibits compositional comprehension abilities to generalize to instructions containing different combinations of edit actions. Through extensive qualitative and quantitative analysis, we show that writers prefer the edits suggested by CoEdIT, relative to other state-of-the-art text editing models. Our code and dataset are publicly available.