執筆支援のためのスマートな単語提案

Smart Word Suggestions for Writing Assistance

May 17, 2023

著者: Chenshuo Wang, Shaoguang Mao, Tao Ge, Wenshan Wu, Xun Wang, Yan Xia, Jonathan Tien, Dongyan Zhao

cs.AI

要旨

単語使用の向上は、文章作成支援において望まれる機能である。この分野の研究をさらに進めるため、本論文では「Smart Word Suggestions」（SWS）タスクとベンチマークを紹介する。他の研究とは異なり、SWSはエンドツーエンドの評価を重視し、より現実的な文章作成支援のシナリオを提示する。このタスクでは、改善が必要な単語やフレーズを特定し、置換候補を提供することが求められる。ベンチマークには、テスト用の人間によるラベル付きデータ、トレーニング用の大規模な遠隔監視データセット、および評価のためのフレームワークが含まれる。テストデータには、英語学習者によって書かれた1,000の文と、10人のネイティブスピーカーによって注釈付けされた16,000以上の置換候補が含まれている。トレーニングデータセットは、ルールを通じて生成された370万以上の文と1,270万の候補で構成されている。7つのベースラインを用いた実験により、SWSが挑戦的なタスクであることが示された。実験分析に基づき、SWSに関する今後の研究の方向性を提案する。データセットと関連コードはhttps://github.com/microsoft/SmartWordSuggestionsで公開されている。

English

Enhancing word usage is a desired feature for writing assistance. To further advance research in this area, this paper introduces "Smart Word Suggestions" (SWS) task and benchmark. Unlike other works, SWS emphasizes end-to-end evaluation and presents a more realistic writing assistance scenario. This task involves identifying words or phrases that require improvement and providing substitution suggestions. The benchmark includes human-labeled data for testing, a large distantly supervised dataset for training, and the framework for evaluation. The test data includes 1,000 sentences written by English learners, accompanied by over 16,000 substitution suggestions annotated by 10 native speakers. The training dataset comprises over 3.7 million sentences and 12.7 million suggestions generated through rules. Our experiments with seven baselines demonstrate that SWS is a challenging task. Based on experimental analysis, we suggest potential directions for future research on SWS. The dataset and related codes is available at https://github.com/microsoft/SmartWordSuggestions.