CoEdIT : Édition de texte par ajustement d'instructions spécifiques à la tâche
CoEdIT: Text Editing by Task-Specific Instruction Tuning
May 17, 2023
Auteurs: Vipul Raheja, Dhruv Kumar, Ryan Koo, Dongyeop Kang
cs.AI
Résumé
La révision ou l'édition de texte est une fonction essentielle du processus d'écriture humaine. Comprendre les capacités des LLM (modèles de langage de grande taille) pour effectuer des révisions de haute qualité et collaborer avec des rédacteurs humains constitue une étape cruciale vers la création d'assistants d'écriture efficaces. Forts des succès précédents des LLM et de l'ajustement par instruction, nous exploitons des LLM ajustés par instruction pour la révision de texte afin d'améliorer la qualité des textes générés par les utilisateurs et d'accroître l'efficacité du processus. Nous présentons CoEdIT, un modèle d'édition de texte de pointe pour l'assistance à la rédaction. CoEdIT prend en compte les instructions de l'utilisateur spécifiant les attributs du texte souhaité, tels que "Simplifiez la phrase" ou "Rédigez-le dans un style plus neutre", et produit le texte édité. Nous proposons un modèle de langage de grande taille affiné sur une collection diversifiée d'instructions spécifiques à des tâches d'édition de texte (un total de 82K instructions). Notre modèle (1) atteint des performances de pointe sur divers benchmarks d'édition de texte, (2) est compétitif avec les LLM de plus grande taille disponibles publiquement et entraînés sur des instructions, tout en étant 60 fois plus petit, (3) est capable de généraliser à des instructions d'édition inédites, et (4) démontre des capacités de compréhension compositionnelle pour généraliser à des instructions contenant différentes combinaisons d'actions d'édition. À travers une analyse qualitative et quantitative approfondie, nous montrons que les rédacteurs préfèrent les modifications suggérées par CoEdIT par rapport à d'autres modèles d'édition de texte de pointe. Notre code et notre ensemble de données sont disponibles publiquement.
English
Text editing or revision is an essential function of the human writing
process. Understanding the capabilities of LLMs for making high-quality
revisions and collaborating with human writers is a critical step toward
building effective writing assistants. With the prior success of LLMs and
instruction tuning, we leverage instruction-tuned LLMs for text revision to
improve the quality of user-generated text and improve the efficiency of the
process. We introduce CoEdIT, a state-of-the-art text editing model for writing
assistance. CoEdIT takes instructions from the user specifying the attributes
of the desired text, such as "Make the sentence simpler" or "Write it in a more
neutral style," and outputs the edited text. We present a large language model
fine-tuned on a diverse collection of task-specific instructions for text
editing (a total of 82K instructions). Our model (1) achieves state-of-the-art
performance on various text editing benchmarks, (2) is competitive with
publicly available largest-sized LLMs trained on instructions while being
sim60x smaller, (3) is capable of generalizing to unseen edit instructions,
and (4) exhibits compositional comprehension abilities to generalize to
instructions containing different combinations of edit actions. Through
extensive qualitative and quantitative analysis, we show that writers prefer
the edits suggested by CoEdIT, relative to other state-of-the-art text editing
models. Our code and dataset are publicly available.