Insegnare agli LLM a Personalizzare - Un Approccio Ispirato all'Educazione alla Scrittura

Teach LLMs to Personalize -- An Approach inspired by Writing Education

August 15, 2023

Autori: Cheng Li, Mingyang Zhang, Qiaozhu Mei, Yaqing Wang, Spurthi Amba Hombaiah, Yi Liang, Michael Bendersky

cs.AI

Abstract

La generazione di testi personalizzati è un'area di ricerca emergente che ha attirato molta attenzione negli ultimi anni. La maggior parte degli studi in questo ambito si concentra su un dominio specifico, progettando caratteristiche o modelli su misura. In questo lavoro, proponiamo un approccio generale per la generazione di testi personalizzati utilizzando modelli linguistici di grandi dimensioni (LLM). Ispirati dalla pratica dell'educazione alla scrittura, sviluppiamo un framework multistadio e multitask per insegnare agli LLM la generazione personalizzata. Nell'istruzione alla scrittura, il compito di scrivere a partire da fonti viene spesso scomposto in più fasi che includono la ricerca, la valutazione, la sintesi, l'integrazione e la rielaborazione delle informazioni. Analogamente, il nostro approccio alla generazione di testi personalizzati consiste in più fasi: recupero, classificazione, riassunto, sintesi e generazione. Inoltre, introduciamo un'impostazione multitask che aiuta ulteriormente il modello a migliorare la sua capacità di generazione, ispirata dall'osservazione nell'ambito educativo che la competenza di lettura e la capacità di scrittura di uno studente sono spesso correlate. Valutiamo il nostro approccio su tre dataset pubblici, ciascuno dei quali copre un dominio diverso e rappresentativo. I nostri risultati mostrano miglioramenti significativi rispetto a una varietà di baseline.

English

Personalized text generation is an emerging research area that has attracted much attention in recent years. Most studies in this direction focus on a particular domain by designing bespoke features or models. In this work, we propose a general approach for personalized text generation using large language models (LLMs). Inspired by the practice of writing education, we develop a multistage and multitask framework to teach LLMs for personalized generation. In writing instruction, the task of writing from sources is often decomposed into multiple steps that involve finding, evaluating, summarizing, synthesizing, and integrating information. Analogously, our approach to personalized text generation consists of multiple stages: retrieval, ranking, summarization, synthesis, and generation. In addition, we introduce a multitask setting that helps the model improve its generation ability further, which is inspired by the observation in education that a student's reading proficiency and writing ability are often correlated. We evaluate our approach on three public datasets, each of which covers a different and representative domain. Our results show significant improvements over a variety of baselines.