Voorbij In-Context Leren: Het Afstemmen van Lange-Vorm Generatie van Grote Taalmodellen via Taak-Inherente Attribuutrichtlijnen

Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines

June 2, 2025

Auteurs: Do Xuan Long, Duong Ngoc Yen, Do Xuan Trong, Luu Anh Tuan, Kenji Kawaguchi, Shafiq Joty, Min-Yen Kan, Nancy F. Chen

cs.AI

Samenvatting

In-context learning (ICL) is een belangrijke maar nog niet volledig begrepen eigenschap van vooraf getrainde grote taalmodellen (LLMs). Het kan de taakprestatie aanzienlijk verbeteren met behulp van enkele voorbeelden, demonstraties genoemd, zonder fine-tuning. Hoewel ICL effectief is bij vraagbeantwoording, presteert het vaak minder goed bij langere generatietaken zoals samenvatting. Onder realistische aannames tonen we zowel empirisch als theoretisch aan dat ICL-demonstraties alleen onvoldoende zijn om LLMs de taaltaal- en formaatdistributies voor generatie aan te leren. We pleiten voor expliciete blootstelling aan de taakdistributies en stellen de hypothese dat het definiëren ervan via prompting de modelprestaties verbetert. Hiertoe presenteren we LongGuide, dat efficiënt twee parallelle stromen van richtlijnen genereert die de taaltaal- en formaateigenschappen vastleggen: (i) Metrische Richtlijnen (MGs) die modellen instrueren om zelfgeëvalueerde metrieken te optimaliseren; en (ii) Uitvoerbeperkingsrichtlijnen (OCGs) die de generatie op zowel token- als zinsniveau beperken. LongGuide selecteert automatisch de beste combinatie van richtlijnen, wat zowel sterke open-source als closed-source LLMs met meer dan 5% verbetert in zowel zero-shot als few-shot instellingen. We tonen aan dat LongGuide generaliseerbaar is, door zwakkere modellen kan worden geleerd om sterkere modellen te verbeteren, en synergetisch integreert met automatische prompt-optimalisatoren.

English

In-context learning (ICL) is an important yet not fully understood ability of pre-trained large language models (LLMs). It can greatly enhance task performance using a few examples, termed demonstrations, without fine-tuning. Although effective in question answering, ICL often underperforms in long-form generation tasks such as summarization. Under appropriately realistic assumptions, we empirically and theoretically show that ICL demonstrations alone are insufficient to teach LLMs the task language and format distributions for generation. We argue for explicit exposure to the task distributions and hypothesize that defining them by prompting enhances model performance. To this end, we present LongGuide, which efficiently generates two parallel streams of guidelines capturing task language and format properties: (i) Metric Guidelines (MGs) that instruct models to optimize self-evaluated metrics; and (ii) Output Constraint Guidelines (OCGs) that constrain generation at both token and sentence levels. LongGuide automatically selects the best combination of guidelines, improving both strong open- and closed-source LLMs by over 5% in both zero- and few-shot settings. We show that LongGuide is generalizable, learnable by weak models to enhance strong ones, and integrates synergistically with automatic prompt optimizers.