CoEdIT: Edición de Textos mediante Ajuste Fino de Instrucciones Específicas por Tarea

CoEdIT: Text Editing by Task-Specific Instruction Tuning

May 17, 2023

Autores: Vipul Raheja, Dhruv Kumar, Ryan Koo, Dongyeop Kang

cs.AI

Resumen

La edición o revisión de texto es una función esencial del proceso de escritura humana. Comprender las capacidades de los LLM (Modelos de Lenguaje de Gran Escala) para realizar revisiones de alta calidad y colaborar con escritores humanos es un paso crucial hacia la creación de asistentes de escritura efectivos. Con los éxitos previos de los LLM y el ajuste por instrucciones, aprovechamos los LLM ajustados por instrucciones para la revisión de textos con el fin de mejorar la calidad del texto generado por los usuarios y optimizar la eficiencia del proceso. Presentamos CoEdIT, un modelo de edición de texto de vanguardia para asistencia en la escritura. CoEdIT recibe instrucciones del usuario que especifican los atributos del texto deseado, como "Simplifica la oración" o "Escríbelo en un estilo más neutral", y genera el texto editado. Introducimos un modelo de lenguaje de gran escala ajustado en una colección diversa de instrucciones específicas para tareas de edición de texto (un total de 82K instrucciones). Nuestro modelo (1) logra un rendimiento de vanguardia en varios benchmarks de edición de texto, (2) es competitivo con los LLM de mayor tamaño disponibles públicamente y entrenados con instrucciones, siendo aproximadamente 60 veces más pequeño, (3) es capaz de generalizar a instrucciones de edición no vistas previamente, y (4) exhibe habilidades de comprensión composicional para generalizar a instrucciones que contienen diferentes combinaciones de acciones de edición. A través de un análisis cualitativo y cuantitativo exhaustivo, demostramos que los escritores prefieren las ediciones sugeridas por CoEdIT en comparación con otros modelos de edición de texto de vanguardia. Nuestro código y conjunto de datos están disponibles públicamente.

English

Text editing or revision is an essential function of the human writing process. Understanding the capabilities of LLMs for making high-quality revisions and collaborating with human writers is a critical step toward building effective writing assistants. With the prior success of LLMs and instruction tuning, we leverage instruction-tuned LLMs for text revision to improve the quality of user-generated text and improve the efficiency of the process. We introduce CoEdIT, a state-of-the-art text editing model for writing assistance. CoEdIT takes instructions from the user specifying the attributes of the desired text, such as "Make the sentence simpler" or "Write it in a more neutral style," and outputs the edited text. We present a large language model fine-tuned on a diverse collection of task-specific instructions for text editing (a total of 82K instructions). Our model (1) achieves state-of-the-art performance on various text editing benchmarks, (2) is competitive with publicly available largest-sized LLMs trained on instructions while being sim60x smaller, (3) is capable of generalizing to unseen edit instructions, and (4) exhibits compositional comprehension abilities to generalize to instructions containing different combinations of edit actions. Through extensive qualitative and quantitative analysis, we show that writers prefer the edits suggested by CoEdIT, relative to other state-of-the-art text editing models. Our code and dataset are publicly available.