Au-delà de l'apprentissage en contexte : Aligner la génération de textes longs des grands modèles de langage grâce à des directives basées sur les attributs inhérents à la tâche

Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines

June 2, 2025

Auteurs: Do Xuan Long, Duong Ngoc Yen, Do Xuan Trong, Luu Anh Tuan, Kenji Kawaguchi, Shafiq Joty, Min-Yen Kan, Nancy F. Chen

cs.AI

Résumé

L’apprentissage en contexte (In-Context Learning, ICL) est une capacité importante mais encore mal comprise des grands modèles de langage pré-entraînés (Large Language Models, LLMs). Il peut considérablement améliorer les performances sur une tâche en utilisant quelques exemples, appelés démonstrations, sans nécessiter de réglage fin. Bien qu’efficace pour les tâches de réponse à des questions, l’ICL obtient souvent des résultats inférieurs dans les tâches de génération de textes longs, comme la synthèse. Sous des hypothèses réalistes appropriées, nous montrons empiriquement et théoriquement que les démonstrations de l’ICL seules sont insuffisantes pour enseigner aux LLMs les distributions de langage et de format nécessaires à la génération. Nous plaidons pour une exposition explicite aux distributions de tâches et émettons l’hypothèse que leur définition par incitation améliore les performances du modèle. À cette fin, nous présentons LongGuide, qui génère efficacement deux flux parallèles de directives capturant les propriétés de langage et de format de la tâche : (i) les **Directives Métriques** (Metric Guidelines, MGs) qui instruisent les modèles à optimiser des métriques auto-évaluées ; et (ii) les **Directives de Contraintes de Sortie** (Output Constraint Guidelines, OCGs) qui contraignent la génération aux niveaux du token et de la phrase. LongGuide sélectionne automatiquement la meilleure combinaison de directives, améliorant les performances des LLMs open-source et propriétaires de plus de 5 % dans des configurations zero-shot et few-shot. Nous démontrons que LongGuide est généralisable, qu’il peut être appris par des modèles faibles pour améliorer des modèles forts, et qu’il s’intègre de manière synergique avec les optimiseurs automatiques d’incitations.

English

In-context learning (ICL) is an important yet not fully understood ability of pre-trained large language models (LLMs). It can greatly enhance task performance using a few examples, termed demonstrations, without fine-tuning. Although effective in question answering, ICL often underperforms in long-form generation tasks such as summarization. Under appropriately realistic assumptions, we empirically and theoretically show that ICL demonstrations alone are insufficient to teach LLMs the task language and format distributions for generation. We argue for explicit exposure to the task distributions and hypothesize that defining them by prompting enhances model performance. To this end, we present LongGuide, which efficiently generates two parallel streams of guidelines capturing task language and format properties: (i) Metric Guidelines (MGs) that instruct models to optimize self-evaluated metrics; and (ii) Output Constraint Guidelines (OCGs) that constrain generation at both token and sentence levels. LongGuide automatically selects the best combination of guidelines, improving both strong open- and closed-source LLMs by over 5% in both zero- and few-shot settings. We show that LongGuide is generalizable, learnable by weak models to enhance strong ones, and integrates synergistically with automatic prompt optimizers.