Enseñar a los LLM a Personalizar: Un Enfoque Inspirado en la Educación en Escritura
Teach LLMs to Personalize -- An Approach inspired by Writing Education
August 15, 2023
Autores: Cheng Li, Mingyang Zhang, Qiaozhu Mei, Yaqing Wang, Spurthi Amba Hombaiah, Yi Liang, Michael Bendersky
cs.AI
Resumen
La generación de texto personalizado es un área de investigación emergente que ha atraído mucha atención en los últimos años. La mayoría de los estudios en esta dirección se centran en un dominio particular mediante el diseño de características o modelos específicos. En este trabajo, proponemos un enfoque general para la generación de texto personalizado utilizando modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). Inspirados por la práctica de la enseñanza de la escritura, desarrollamos un marco de trabajo multietapa y multitarea para enseñar a los LLMs a generar texto personalizado. En la instrucción de escritura, la tarea de escribir a partir de fuentes a menudo se descompone en múltiples pasos que implican encontrar, evaluar, resumir, sintetizar e integrar información. De manera análoga, nuestro enfoque para la generación de texto personalizado consta de varias etapas: recuperación, clasificación, resumen, síntesis y generación. Además, introducimos un entorno multitarea que ayuda al modelo a mejorar aún más su capacidad de generación, inspirado por la observación en la educación de que la competencia lectora y la habilidad de escritura de un estudiante suelen estar correlacionadas. Evaluamos nuestro enfoque en tres conjuntos de datos públicos, cada uno de los cuales cubre un dominio diferente y representativo. Nuestros resultados muestran mejoras significativas en comparación con una variedad de líneas base.
English
Personalized text generation is an emerging research area that has attracted
much attention in recent years. Most studies in this direction focus on a
particular domain by designing bespoke features or models. In this work, we
propose a general approach for personalized text generation using large
language models (LLMs). Inspired by the practice of writing education, we
develop a multistage and multitask framework to teach LLMs for personalized
generation. In writing instruction, the task of writing from sources is often
decomposed into multiple steps that involve finding, evaluating, summarizing,
synthesizing, and integrating information. Analogously, our approach to
personalized text generation consists of multiple stages: retrieval, ranking,
summarization, synthesis, and generation. In addition, we introduce a multitask
setting that helps the model improve its generation ability further, which is
inspired by the observation in education that a student's reading proficiency
and writing ability are often correlated. We evaluate our approach on three
public datasets, each of which covers a different and representative domain.
Our results show significant improvements over a variety of baselines.