Oltre l'apprendimento in contesto: Allineamento della generazione di testi lunghi nei modelli linguistici di grandi dimensioni attraverso linee guida basate su attributi intrinseci del compito

Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines

June 2, 2025

Autori: Do Xuan Long, Duong Ngoc Yen, Do Xuan Trong, Luu Anh Tuan, Kenji Kawaguchi, Shafiq Joty, Min-Yen Kan, Nancy F. Chen

cs.AI

Abstract

L'apprendimento in contesto (In-context Learning, ICL) è un'abilità importante ma non ancora completamente compresa dei modelli linguistici pre-addestrati su larga scala (Large Language Models, LLMs). Questa capacità può migliorare significativamente le prestazioni su un compito utilizzando pochi esempi, denominati dimostrazioni, senza la necessità di un fine-tuning. Sebbene efficace nelle attività di risposta alle domande, l'ICL spesso ottiene risultati inferiori nei compiti di generazione di testi lunghi, come la sintesi. In base a ipotesi realistiche appropriate, dimostriamo empiricamente e teoricamente che le sole dimostrazioni dell'ICL non sono sufficienti per insegnare ai LLMs le distribuzioni del linguaggio e del formato del compito per la generazione. Sosteniamo la necessità di un'esposizione esplicita alle distribuzioni del compito e ipotizziamo che definirle tramite prompt migliori le prestazioni del modello. A tal fine, presentiamo LongGuide, che genera in modo efficiente due flussi paralleli di linee guida che catturano le proprietà del linguaggio e del formato del compito: (i) Metric Guidelines (MGs) che istruiscono i modelli a ottimizzare metriche auto-valutate; e (ii) Output Constraint Guidelines (OCGs) che vincolano la generazione sia a livello di token che di frase. LongGuide seleziona automaticamente la migliore combinazione di linee guida, migliorando sia i LLMs open-source che closed-source di oltre il 5% in contesti zero-shot e few-shot. Dimostriamo che LongGuide è generalizzabile, apprendibile da modelli deboli per potenziare quelli forti, e si integra sinergicamente con ottimizzatori automatici di prompt.

English

In-context learning (ICL) is an important yet not fully understood ability of pre-trained large language models (LLMs). It can greatly enhance task performance using a few examples, termed demonstrations, without fine-tuning. Although effective in question answering, ICL often underperforms in long-form generation tasks such as summarization. Under appropriately realistic assumptions, we empirically and theoretically show that ICL demonstrations alone are insufficient to teach LLMs the task language and format distributions for generation. We argue for explicit exposure to the task distributions and hypothesize that defining them by prompting enhances model performance. To this end, we present LongGuide, which efficiently generates two parallel streams of guidelines capturing task language and format properties: (i) Metric Guidelines (MGs) that instruct models to optimize self-evaluated metrics; and (ii) Output Constraint Guidelines (OCGs) that constrain generation at both token and sentence levels. LongGuide automatically selects the best combination of guidelines, improving both strong open- and closed-source LLMs by over 5% in both zero- and few-shot settings. We show that LongGuide is generalizable, learnable by weak models to enhance strong ones, and integrates synergistically with automatic prompt optimizers.