작성 지원을 위한 스마트 단어 제안

초록

단어 사용 개선은 글쓰기 보조 기능에서 요구되는 중요한 요소입니다. 이 분야의 연구를 더욱 발전시키기 위해, 본 논문은 "스마트 단어 제안(Smart Word Suggestions, SWS)" 작업과 벤치마크를 소개합니다. 기존 연구와 달리, SWS는 종단 간(end-to-end) 평가를 강조하며 더 현실적인 글쓰기 보조 시나리오를 제시합니다. 이 작업은 개선이 필요한 단어나 구문을 식별하고 대체 제안을 제공하는 과정을 포함합니다. 벤치마크는 테스트를 위한 인간이 라벨링한 데이터, 훈련을 위한 대규모 원격 감독( distantly supervised) 데이터셋, 그리고 평가를 위한 프레임워크로 구성됩니다. 테스트 데이터는 영어 학습자가 작성한 1,000개의 문장과 10명의 원어민이 주석을 단 16,000개 이상의 대체 제안으로 이루어져 있습니다. 훈련 데이터셋은 규칙을 통해 생성된 370만 개 이상의 문장과 1,270만 개의 제안을 포함합니다. 7개의 베이스라인을 사용한 실험 결과, SWS가 도전적인 작업임을 입증했습니다. 실험 분석을 바탕으로, SWS에 대한 향후 연구 방향을 제안합니다. 데이터셋과 관련 코드는 https://github.com/microsoft/SmartWordSuggestions에서 확인할 수 있습니다.

English

Enhancing word usage is a desired feature for writing assistance. To further advance research in this area, this paper introduces "Smart Word Suggestions" (SWS) task and benchmark. Unlike other works, SWS emphasizes end-to-end evaluation and presents a more realistic writing assistance scenario. This task involves identifying words or phrases that require improvement and providing substitution suggestions. The benchmark includes human-labeled data for testing, a large distantly supervised dataset for training, and the framework for evaluation. The test data includes 1,000 sentences written by English learners, accompanied by over 16,000 substitution suggestions annotated by 10 native speakers. The training dataset comprises over 3.7 million sentences and 12.7 million suggestions generated through rules. Our experiments with seven baselines demonstrate that SWS is a challenging task. Based on experimental analysis, we suggest potential directions for future research on SWS. The dataset and related codes is available at https://github.com/microsoft/SmartWordSuggestions.

작성 지원을 위한 스마트 단어 제안

Smart Word Suggestions for Writing Assistance

초록

Support