LLMにパーソナライズを教える――文章教育に着想を得たアプローチ

要旨

個人化テキスト生成は、近年注目を集めている新興の研究分野である。この方向性における既存研究の多くは、特定の領域に特化した特徴量やモデルを設計することに焦点を当ててきた。本研究では、大規模言語モデル（LLM）を用いた個人化テキスト生成のための汎用的アプローチを提案する。文章教育の実践に着想を得て、個人化生成を実現するLLMを指導するための多段階・マルチタスクフレームワークを開発した。文章指導において、情報源からの執筆タスクは、情報の発見・評価・要約・統合・統合という複数の段階に分解されることが多い。同様に、我々の個人化テキスト生成アプローチも、検索、ランキング、要約、統合、生成という複数の段階で構成される。さらに、教育分野における「読解力と文章力には相関関係がある」という知見に基づき、モデルの生成能力をさらに向上させるマルチタスク設定を導入した。提案手法を3つの公開データセットで評価し、それぞれが異なる代表的な領域をカバーしている。実験結果は、様々なベースライン手法を大きく上回る改善を示している。

English

Personalized text generation is an emerging research area that has attracted much attention in recent years. Most studies in this direction focus on a particular domain by designing bespoke features or models. In this work, we propose a general approach for personalized text generation using large language models (LLMs). Inspired by the practice of writing education, we develop a multistage and multitask framework to teach LLMs for personalized generation. In writing instruction, the task of writing from sources is often decomposed into multiple steps that involve finding, evaluating, summarizing, synthesizing, and integrating information. Analogously, our approach to personalized text generation consists of multiple stages: retrieval, ranking, summarization, synthesis, and generation. In addition, we introduce a multitask setting that helps the model improve its generation ability further, which is inspired by the observation in education that a student's reading proficiency and writing ability are often correlated. We evaluate our approach on three public datasets, each of which covers a different and representative domain. Our results show significant improvements over a variety of baselines.

LLMにパーソナライズを教える――文章教育に着想を得たアプローチ

Teach LLMs to Personalize -- An Approach inspired by Writing Education

要旨

Support