CoEdIT: 작업 특화적 명령어 튜닝을 통한 텍스트 편집

CoEdIT: Text Editing by Task-Specific Instruction Tuning

May 17, 2023

저자: Vipul Raheja, Dhruv Kumar, Ryan Koo, Dongyeop Kang

cs.AI

초록

텍스트 편집 또는 수정은 인간의 글쓰기 과정에서 필수적인 기능입니다. 대규모 언어 모델(LLM)이 고품질의 수정을 수행하고 인간 작가와 협업할 수 있는 능력을 이해하는 것은 효과적인 글쓰기 보조 도구를 구축하기 위한 중요한 단계입니다. LLM과 명령어 튜닝의 이전 성공을 바탕으로, 우리는 사용자 생성 텍스트의 품질을 향상시키고 프로세스의 효율성을 높이기 위해 명령어 튜닝된 LLM을 텍스트 수정에 활용합니다. 우리는 글쓰기 지원을 위한 최첨단 텍스트 편집 모델인 CoEdIT를 소개합니다. CoEdIT는 사용자로부터 "문장을 더 간단하게 만들어라" 또는 "더 중립적인 스타일로 작성하라"와 같은 원하는 텍스트의 속성을 지정하는 명령어를 입력받아 편집된 텍스트를 출력합니다. 우리는 텍스트 편집을 위한 다양한 작업별 명령어(총 82K개의 명령어)로 미세 조정된 대규모 언어 모델을 제시합니다. 우리의 모델은 (1) 다양한 텍스트 편집 벤치마크에서 최첨단 성능을 달성하고, (2) 명령어로 훈련된 공개적으로 사용 가능한 가장 큰 크기의 LLM과 경쟁력이 있으면서도 크기가 60배 더 작으며, (3) 보이지 않는 편집 명령어에 일반화할 수 있고, (4) 서로 다른 편집 동작의 조합을 포함하는 명령어에 일반화할 수 있는 구성적 이해 능력을 보여줍니다. 광범위한 정성적 및 정량적 분석을 통해, 우리는 작가들이 다른 최첨단 텍스트 편집 모델에 비해 CoEdIT가 제안한 편집을 선호한다는 것을 보여줍니다. 우리의 코드와 데이터셋은 공개적으로 이용 가능합니다.

English

Text editing or revision is an essential function of the human writing process. Understanding the capabilities of LLMs for making high-quality revisions and collaborating with human writers is a critical step toward building effective writing assistants. With the prior success of LLMs and instruction tuning, we leverage instruction-tuned LLMs for text revision to improve the quality of user-generated text and improve the efficiency of the process. We introduce CoEdIT, a state-of-the-art text editing model for writing assistance. CoEdIT takes instructions from the user specifying the attributes of the desired text, such as "Make the sentence simpler" or "Write it in a more neutral style," and outputs the edited text. We present a large language model fine-tuned on a diverse collection of task-specific instructions for text editing (a total of 82K instructions). Our model (1) achieves state-of-the-art performance on various text editing benchmarks, (2) is competitive with publicly available largest-sized LLMs trained on instructions while being sim60x smaller, (3) is capable of generalizing to unseen edit instructions, and (4) exhibits compositional comprehension abilities to generalize to instructions containing different combinations of edit actions. Through extensive qualitative and quantitative analysis, we show that writers prefer the edits suggested by CoEdIT, relative to other state-of-the-art text editing models. Our code and dataset are publicly available.