CoEdIT: Tekstbewerking door taakspecifieke instructieafstemming

CoEdIT: Text Editing by Task-Specific Instruction Tuning

May 17, 2023

Auteurs: Vipul Raheja, Dhruv Kumar, Ryan Koo, Dongyeop Kang

cs.AI

Samenvatting

Tekstbewerking of revisie is een essentiële functie van het menselijke schrijfproces. Het begrijpen van de mogelijkheden van LLM's (Large Language Models) voor het maken van hoogwaardige revisies en het samenwerken met menselijke schrijvers is een cruciale stap naar het ontwikkelen van effectieve schrijfassistenten. Met het eerdere succes van LLM's en instructieafstemming, benutten wij instructie-afgestemde LLM's voor tekstbewerking om de kwaliteit van door gebruikers gegenereerde tekst te verbeteren en de efficiëntie van het proces te verhogen. Wij introduceren CoEdIT, een state-of-the-art tekstbewerkingsmodel voor schrijfondersteuning. CoEdIT neemt instructies van de gebruiker aan die de kenmerken van de gewenste tekst specificeren, zoals "Maak de zin eenvoudiger" of "Schrijf het in een neutralere stijl," en geeft de bewerkte tekst uit. Wij presenteren een groot taalmodel dat is afgestemd op een diverse verzameling taakspecifieke instructies voor tekstbewerking (in totaal 82K instructies). Ons model (1) behaalt state-of-the-art prestaties op verschillende tekstbewerkingsbenchmarks, (2) is concurrerend met de grootste beschikbare LLM's die zijn getraind op instructies, terwijl het ongeveer 60x kleiner is, (3) is in staat om te generaliseren naar onbekende bewerkingsinstructies, en (4) vertoont compositionele begripsvaardigheden om te generaliseren naar instructies die verschillende combinaties van bewerkingsacties bevatten. Door uitgebreide kwalitatieve en kwantitatieve analyses tonen wij aan dat schrijvers de bewerkingen die door CoEdIT worden voorgesteld verkiezen, in vergelijking met andere state-of-the-art tekstbewerkingsmodellen. Onze code en dataset zijn publiekelijk beschikbaar.

English

Text editing or revision is an essential function of the human writing process. Understanding the capabilities of LLMs for making high-quality revisions and collaborating with human writers is a critical step toward building effective writing assistants. With the prior success of LLMs and instruction tuning, we leverage instruction-tuned LLMs for text revision to improve the quality of user-generated text and improve the efficiency of the process. We introduce CoEdIT, a state-of-the-art text editing model for writing assistance. CoEdIT takes instructions from the user specifying the attributes of the desired text, such as "Make the sentence simpler" or "Write it in a more neutral style," and outputs the edited text. We present a large language model fine-tuned on a diverse collection of task-specific instructions for text editing (a total of 82K instructions). Our model (1) achieves state-of-the-art performance on various text editing benchmarks, (2) is competitive with publicly available largest-sized LLMs trained on instructions while being sim60x smaller, (3) is capable of generalizing to unseen edit instructions, and (4) exhibits compositional comprehension abilities to generalize to instructions containing different combinations of edit actions. Through extensive qualitative and quantitative analysis, we show that writers prefer the edits suggested by CoEdIT, relative to other state-of-the-art text editing models. Our code and dataset are publicly available.