ChatPaper.aiChatPaper

Más allá del aprendizaje en contexto: Alineación de la generación de texto extenso en modelos de lenguaje de gran escala mediante directrices de atributos inherentes a la tarea

Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines

June 2, 2025
Autores: Do Xuan Long, Duong Ngoc Yen, Do Xuan Trong, Luu Anh Tuan, Kenji Kawaguchi, Shafiq Joty, Min-Yen Kan, Nancy F. Chen
cs.AI

Resumen

El aprendizaje en contexto (ICL, por sus siglas en inglés) es una capacidad importante, aunque no completamente comprendida, de los modelos de lenguaje preentrenados de gran escala (LLMs). Puede mejorar significativamente el rendimiento en tareas utilizando unos pocos ejemplos, denominados demostraciones, sin necesidad de ajuste fino. Aunque es efectivo en tareas de respuesta a preguntas, el ICL a menudo tiene un rendimiento inferior en tareas de generación de texto extenso, como la resumen. Bajo suposiciones realistas adecuadas, demostramos empírica y teóricamente que las demostraciones de ICL por sí solas son insuficientes para enseñar a los LLMs las distribuciones de lenguaje y formato necesarias para la generación. Argumentamos a favor de una exposición explícita a las distribuciones de la tarea y planteamos la hipótesis de que definirlas mediante indicaciones mejora el rendimiento del modelo. Con este fin, presentamos LongGuide, que genera eficientemente dos flujos paralelos de directrices que capturan las propiedades del lenguaje y el formato de la tarea: (i) Directrices de Métricas (MGs) que instruyen a los modelos para optimizar métricas autoevaluadas; y (ii) Directrices de Restricciones de Salida (OCGs) que limitan la generación tanto a nivel de tokens como de oraciones. LongGuide selecciona automáticamente la mejor combinación de directrices, mejorando tanto los LLMs de código abierto como los de código cerrado en más de un 5% en configuraciones de cero y pocos ejemplos. Demostramos que LongGuide es generalizable, puede ser aprendido por modelos débiles para mejorar a los fuertes, y se integra sinérgicamente con optimizadores automáticos de indicaciones.
English
In-context learning (ICL) is an important yet not fully understood ability of pre-trained large language models (LLMs). It can greatly enhance task performance using a few examples, termed demonstrations, without fine-tuning. Although effective in question answering, ICL often underperforms in long-form generation tasks such as summarization. Under appropriately realistic assumptions, we empirically and theoretically show that ICL demonstrations alone are insufficient to teach LLMs the task language and format distributions for generation. We argue for explicit exposure to the task distributions and hypothesize that defining them by prompting enhances model performance. To this end, we present LongGuide, which efficiently generates two parallel streams of guidelines capturing task language and format properties: (i) Metric Guidelines (MGs) that instruct models to optimize self-evaluated metrics; and (ii) Output Constraint Guidelines (OCGs) that constrain generation at both token and sentence levels. LongGuide automatically selects the best combination of guidelines, improving both strong open- and closed-source LLMs by over 5% in both zero- and few-shot settings. We show that LongGuide is generalizable, learnable by weak models to enhance strong ones, and integrates synergistically with automatic prompt optimizers.
PDF12June 4, 2025