Jenseits des In-Context-Lernens: Ausrichtung der langfristigen Generierung großer Sprachmodelle durch aufgabeninhärente Attributrichtlinien

Beyond In-Context Learning: Aligning Long-form Generation of Large Language Models via Task-Inherent Attribute Guidelines

June 2, 2025

Autoren: Do Xuan Long, Duong Ngoc Yen, Do Xuan Trong, Luu Anh Tuan, Kenji Kawaguchi, Shafiq Joty, Min-Yen Kan, Nancy F. Chen

cs.AI

Zusammenfassung

In-Context-Learning (ICL) ist eine wichtige, aber noch nicht vollständig verstandene Fähigkeit vortrainierter großer Sprachmodelle (LLMs). Es kann die Aufgabenleistung erheblich steigern, indem es einige Beispiele, sogenannte Demonstrationen, verwendet, ohne dass eine Feinabstimmung erforderlich ist. Obwohl ICL bei der Beantwortung von Fragen effektiv ist, schneidet es oft bei langen Generierungsaufgaben wie der Zusammenfassung schlechter ab. Unter angemessen realistischen Annahmen zeigen wir sowohl empirisch als auch theoretisch, dass ICL-Demonstrationen allein nicht ausreichen, um LLMs die Aufgaben- und Formatverteilungen für die Generierung beizubringen. Wir plädieren für eine explizite Exposition gegenüber den Aufgabenverteilungen und stellen die Hypothese auf, dass deren Definition durch Prompting die Modellleistung verbessert. Zu diesem Zweck stellen wir LongGuide vor, das effizient zwei parallele Leitfadenstränge erzeugt, die die Aufgaben- und Formateigenschaften erfassen: (i) Metrik-Leitfäden (MGs), die Modelle anweisen, selbstbewertete Metriken zu optimieren; und (ii) Ausgabebeschränkungs-Leitfäden (OCGs), die die Generierung sowohl auf Token- als auch auf Satzebene einschränken. LongGuide wählt automatisch die beste Kombination von Leitfäden aus und verbessert sowohl starke Open-Source- als auch Closed-Source-LLMs um über 5 % in Zero- und Few-Shot-Szenarien. Wir zeigen, dass LongGuide verallgemeinerbar ist, von schwachen Modellen erlernt werden kann, um starke zu verbessern, und sich synergetisch mit automatischen Prompt-Optimierern integrieren lässt.

English

In-context learning (ICL) is an important yet not fully understood ability of pre-trained large language models (LLMs). It can greatly enhance task performance using a few examples, termed demonstrations, without fine-tuning. Although effective in question answering, ICL often underperforms in long-form generation tasks such as summarization. Under appropriately realistic assumptions, we empirically and theoretically show that ICL demonstrations alone are insufficient to teach LLMs the task language and format distributions for generation. We argue for explicit exposure to the task distributions and hypothesize that defining them by prompting enhances model performance. To this end, we present LongGuide, which efficiently generates two parallel streams of guidelines capturing task language and format properties: (i) Metric Guidelines (MGs) that instruct models to optimize self-evaluated metrics; and (ii) Output Constraint Guidelines (OCGs) that constrain generation at both token and sentence levels. LongGuide automatically selects the best combination of guidelines, improving both strong open- and closed-source LLMs by over 5% in both zero- and few-shot settings. We show that LongGuide is generalizable, learnable by weak models to enhance strong ones, and integrates synergistically with automatic prompt optimizers.