LLMs personalisieren lehren – Ein Ansatz inspiriert von der Schreibausbildung
Teach LLMs to Personalize -- An Approach inspired by Writing Education
August 15, 2023
Autoren: Cheng Li, Mingyang Zhang, Qiaozhu Mei, Yaqing Wang, Spurthi Amba Hombaiah, Yi Liang, Michael Bendersky
cs.AI
Zusammenfassung
Personalisierte Textgenerierung ist ein aufstrebendes Forschungsgebiet, das in den letzten Jahren viel Aufmerksamkeit auf sich gezogen hat. Die meisten Studien in diesem Bereich konzentrieren sich auf ein bestimmtes Domänen, indem sie maßgeschneiderte Merkmale oder Modelle entwickeln. In dieser Arbeit schlagen wir einen allgemeinen Ansatz für die personalisierte Textgenerierung unter Verwendung von großen Sprachmodellen (LLMs) vor. Inspiriert von der Praxis der Schreiberziehung entwickeln wir ein mehrstufiges und multitask-fähiges Framework, um LLMs für die personalisierte Generierung zu trainieren. In der Schreibdidaktik wird die Aufgabe, Texte aus Quellen zu verfassen, oft in mehrere Schritte zerlegt, die das Finden, Bewerten, Zusammenfassen, Synthetisieren und Integrieren von Informationen umfassen. Analog besteht unser Ansatz zur personalisierten Textgenerierung aus mehreren Stufen: Retrieval, Ranking, Zusammenfassung, Synthese und Generierung. Darüber hinaus führen wir eine Multitask-Einstellung ein, die dem Modell hilft, seine Generierungsfähigkeit weiter zu verbessern. Dies ist inspiriert von der Beobachtung in der Bildung, dass die Lesekompetenz und Schreibfähigkeit eines Schülers oft korreliert sind. Wir evaluieren unseren Ansatz anhand von drei öffentlichen Datensätzen, die jeweils eine andere und repräsentative Domäne abdecken. Unsere Ergebnisse zeigen signifikante Verbesserungen gegenüber einer Vielzahl von Baseline-Modellen.
English
Personalized text generation is an emerging research area that has attracted
much attention in recent years. Most studies in this direction focus on a
particular domain by designing bespoke features or models. In this work, we
propose a general approach for personalized text generation using large
language models (LLMs). Inspired by the practice of writing education, we
develop a multistage and multitask framework to teach LLMs for personalized
generation. In writing instruction, the task of writing from sources is often
decomposed into multiple steps that involve finding, evaluating, summarizing,
synthesizing, and integrating information. Analogously, our approach to
personalized text generation consists of multiple stages: retrieval, ranking,
summarization, synthesis, and generation. In addition, we introduce a multitask
setting that helps the model improve its generation ability further, which is
inspired by the observation in education that a student's reading proficiency
and writing ability are often correlated. We evaluate our approach on three
public datasets, each of which covers a different and representative domain.
Our results show significant improvements over a variety of baselines.