CoEdIT: Редактирование текста с помощью настройки на конкретные задачи через инструкции

CoEdIT: Text Editing by Task-Specific Instruction Tuning

May 17, 2023

Авторы: Vipul Raheja, Dhruv Kumar, Ryan Koo, Dongyeop Kang

cs.AI

Аннотация

Редактирование или пересмотр текста является важной функцией в процессе человеческого письма. Понимание возможностей языковых моделей (LLM) для выполнения качественных правок и сотрудничества с авторами — это ключевой шаг на пути к созданию эффективных помощников для письма. Учитывая предыдущие успехи LLM и настройки на инструкции, мы используем LLM, настроенные на инструкции, для редактирования текста с целью повышения качества пользовательского текста и улучшения эффективности процесса. Мы представляем CoEdIT — современную модель редактирования текста для помощи в написании. CoEdIT принимает инструкции от пользователя, определяющие атрибуты желаемого текста, такие как «Сделать предложение проще» или «Написать в более нейтральном стиле», и выдает отредактированный текст. Мы представляем крупную языковую модель, дообученную на разнообразной коллекции задач, специфичных для редактирования текста (всего 82 тыс. инструкций). Наша модель (1) демонстрирует наилучшие результаты на различных тестах по редактированию текста, (2) конкурирует с общедоступными крупнейшими LLM, обученными на инструкциях, при этом будучи в 60 раз меньше, (3) способна обобщать на неизвестные инструкции по редактированию и (4) проявляет способность к композиционному пониманию, обобщая инструкции, содержащие различные комбинации действий по редактированию. Благодаря обширному качественному и количественному анализу мы показываем, что авторы предпочитают правки, предложенные CoEdIT, по сравнению с другими современными моделями редактирования текста. Наш код и набор данных доступны публично.

English

Text editing or revision is an essential function of the human writing process. Understanding the capabilities of LLMs for making high-quality revisions and collaborating with human writers is a critical step toward building effective writing assistants. With the prior success of LLMs and instruction tuning, we leverage instruction-tuned LLMs for text revision to improve the quality of user-generated text and improve the efficiency of the process. We introduce CoEdIT, a state-of-the-art text editing model for writing assistance. CoEdIT takes instructions from the user specifying the attributes of the desired text, such as "Make the sentence simpler" or "Write it in a more neutral style," and outputs the edited text. We present a large language model fine-tuned on a diverse collection of task-specific instructions for text editing (a total of 82K instructions). Our model (1) achieves state-of-the-art performance on various text editing benchmarks, (2) is competitive with publicly available largest-sized LLMs trained on instructions while being sim60x smaller, (3) is capable of generalizing to unseen edit instructions, and (4) exhibits compositional comprehension abilities to generalize to instructions containing different combinations of edit actions. Through extensive qualitative and quantitative analysis, we show that writers prefer the edits suggested by CoEdIT, relative to other state-of-the-art text editing models. Our code and dataset are publicly available.