Além do Aprendizado em Contexto: Alinhando a Geração de Textos Longos em Modelos de Linguagem de Grande Escala por meio de Diretrizes de Atributos Inerentes à Tarefa

Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines

June 2, 2025

Autores: Do Xuan Long, Duong Ngoc Yen, Do Xuan Trong, Luu Anh Tuan, Kenji Kawaguchi, Shafiq Joty, Min-Yen Kan, Nancy F. Chen

cs.AI

Resumo

O aprendizado em contexto (In-context Learning - ICL) é uma capacidade importante, mas ainda não totalmente compreendida, dos modelos de linguagem de grande escala (Large Language Models - LLMs) pré-treinados. Ele pode melhorar significativamente o desempenho em tarefas utilizando alguns exemplos, denominados demonstrações, sem a necessidade de ajuste fino. Embora seja eficaz em tarefas de resposta a perguntas, o ICL frequentemente tem desempenho inferior em tarefas de geração de texto longo, como sumarização. Sob suposições apropriadamente realistas, demonstramos empiricamente e teoricamente que as demonstrações de ICL por si só são insuficientes para ensinar aos LLMs as distribuições de linguagem e formato da tarefa para geração. Argumentamos pela exposição explícita às distribuições da tarefa e hipotetizamos que defini-las por meio de prompts melhora o desempenho do modelo. Para isso, apresentamos o LongGuide, que gera eficientemente dois fluxos paralelos de diretrizes que capturam as propriedades de linguagem e formato da tarefa: (i) Diretrizes de Métricas (Metric Guidelines - MGs) que instruem os modelos a otimizar métricas autoavaliadas; e (ii) Diretrizes de Restrições de Saída (Output Constraint Guidelines - OCGs) que restringem a geração tanto no nível de tokens quanto no nível de frases. O LongGuide seleciona automaticamente a melhor combinação de diretrizes, melhorando tanto LLMs de código aberto quanto de código fechado em mais de 5% em configurações zero-shot e few-shot. Mostramos que o LongGuide é generalizável, pode ser aprendido por modelos fracos para aprimorar modelos fortes e se integra sinergicamente com otimizadores automáticos de prompts.

English

In-context learning (ICL) is an important yet not fully understood ability of pre-trained large language models (LLMs). It can greatly enhance task performance using a few examples, termed demonstrations, without fine-tuning. Although effective in question answering, ICL often underperforms in long-form generation tasks such as summarization. Under appropriately realistic assumptions, we empirically and theoretically show that ICL demonstrations alone are insufficient to teach LLMs the task language and format distributions for generation. We argue for explicit exposure to the task distributions and hypothesize that defining them by prompting enhances model performance. To this end, we present LongGuide, which efficiently generates two parallel streams of guidelines capturing task language and format properties: (i) Metric Guidelines (MGs) that instruct models to optimize self-evaluated metrics; and (ii) Output Constraint Guidelines (OCGs) that constrain generation at both token and sentence levels. LongGuide automatically selects the best combination of guidelines, improving both strong open- and closed-source LLMs by over 5% in both zero- and few-shot settings. We show that LongGuide is generalizable, learnable by weak models to enhance strong ones, and integrates synergistically with automatic prompt optimizers.