Apprendre aux LLM à personnaliser - Une approche inspirée par l'enseignement de l'écriture
Teach LLMs to Personalize -- An Approach inspired by Writing Education
August 15, 2023
Auteurs: Cheng Li, Mingyang Zhang, Qiaozhu Mei, Yaqing Wang, Spurthi Amba Hombaiah, Yi Liang, Michael Bendersky
cs.AI
Résumé
La génération de texte personnalisé est un domaine de recherche émergent qui a suscité beaucoup d'attention ces dernières années. La plupart des études dans ce domaine se concentrent sur un domaine particulier en concevant des caractéristiques ou des modèles sur mesure. Dans ce travail, nous proposons une approche générale pour la génération de texte personnalisé en utilisant des modèles de langage de grande taille (LLMs). Inspirés par les pratiques de l'enseignement de l'écriture, nous développons un cadre multistage et multitâche pour enseigner aux LLMs la génération personnalisée. Dans l'enseignement de l'écriture, la tâche d'écriture à partir de sources est souvent décomposée en plusieurs étapes qui impliquent la recherche, l'évaluation, la synthèse, la résumé et l'intégration d'informations. De manière analogue, notre approche de la génération de texte personnalisé consiste en plusieurs étapes : la récupération, le classement, la synthèse, la résumé et la génération. En outre, nous introduisons un cadre multitâche qui aide le modèle à améliorer davantage sa capacité de génération, inspiré par l'observation en éducation que la compétence en lecture et la capacité d'écriture d'un étudiant sont souvent corrélées. Nous évaluons notre approche sur trois ensembles de données publics, chacun couvrant un domaine différent et représentatif. Nos résultats montrent des améliorations significatives par rapport à une variété de bases de référence.
English
Personalized text generation is an emerging research area that has attracted
much attention in recent years. Most studies in this direction focus on a
particular domain by designing bespoke features or models. In this work, we
propose a general approach for personalized text generation using large
language models (LLMs). Inspired by the practice of writing education, we
develop a multistage and multitask framework to teach LLMs for personalized
generation. In writing instruction, the task of writing from sources is often
decomposed into multiple steps that involve finding, evaluating, summarizing,
synthesizing, and integrating information. Analogously, our approach to
personalized text generation consists of multiple stages: retrieval, ranking,
summarization, synthesis, and generation. In addition, we introduce a multitask
setting that helps the model improve its generation ability further, which is
inspired by the observation in education that a student's reading proficiency
and writing ability are often correlated. We evaluate our approach on three
public datasets, each of which covers a different and representative domain.
Our results show significant improvements over a variety of baselines.