Anpassung von Selbstrationalisierern durch Multi-Belohnungs-Distillation

Zusammenfassung

Große Sprachmodelle (LMs) sind in der Lage, freitextliche Begründungen zu generieren, um die Beantwortung von Fragen zu unterstützen. Frühere Arbeiten deuten jedoch darauf hin, dass nützliche Selbstbegründungen erst bei erheblichen Skalen (z. B. GPT-3 mit 175B Parametern) entstehen und sich weitgehend auf die nachgelagerte Leistung konzentrieren, während die Semantik der Begründungen selbst ignoriert wird, z. B. ob sie treu, wahr und hilfreich für Menschen sind. In dieser Arbeit ermöglichen wir es kleineren LMs (etwa 200x kleiner als GPT-3), Begründungen zu generieren, die nicht nur die Leistung bei nachgelagerten Aufgaben verbessern, sondern auch plausibler, konsistenter und vielfältiger sind, bewertet sowohl durch automatische als auch durch menschliche Evaluierung. Unsere Methode, MaRio (Multi-rewArd RatIOnalization), ist ein Algorithmus zur Selbstbegründung mit multiplen Belohnungsbedingungen, der mehrere unterschiedliche Eigenschaften wie Plausibilität, Vielfalt und Konsistenz optimiert. Ergebnisse auf fünf schwierigen Frage-Antwort-Datensätzen – StrategyQA, QuaRel, OpenBookQA, NumerSense und QASC – zeigen, dass MaRio nicht nur die Aufgabengenauigkeit verbessert, sondern auch die Qualität der Selbstbegründung kleiner LMs in den genannten Dimensionen besser als ein überwachtes Feinabstimmungs-Baseline (SFT) verbessert. Umfangreiche menschliche Bewertungen bestätigen, dass MaRio-Begründungen gegenüber SFT-Begründungen bevorzugt werden, sowie qualitative Verbesserungen in Plausibilität und Konsistenz.

English

Large language models (LMs) are capable of generating free-text rationales to aid question answering. However, prior work 1) suggests that useful self-rationalization is emergent only at significant scales (e.g., 175B parameter GPT-3); and 2) focuses largely on downstream performance, ignoring the semantics of the rationales themselves, e.g., are they faithful, true, and helpful for humans? In this work, we enable small-scale LMs (approx. 200x smaller than GPT-3) to generate rationales that not only improve downstream task performance, but are also more plausible, consistent, and diverse, assessed both by automatic and human evaluation. Our method, MaRio (Multi-rewArd RatIOnalization), is a multi-reward conditioned self-rationalization algorithm that optimizes multiple distinct properties like plausibility, diversity and consistency. Results on five difficult question-answering datasets StrategyQA, QuaRel, OpenBookQA, NumerSense and QASC show that not only does MaRio improve task accuracy, but it also improves the self-rationalization quality of small LMs across the aforementioned axes better than a supervised fine-tuning (SFT) baseline. Extensive human evaluations confirm that MaRio rationales are preferred vs. SFT rationales, as well as qualitative improvements in plausibility and consistency.

Anpassung von Selbstrationalisierern durch Multi-Belohnungs-Distillation

Tailoring Self-Rationalizers with Multi-Reward Distillation

Zusammenfassung

Support