Zelfrationalisatoren afstemmen met multi-beloning distillatie

Tailoring Self-Rationalizers with Multi-Reward Distillation

November 6, 2023

Auteurs: Sahana Ramnath, Brihi Joshi, Skyler Hallinan, Ximing Lu, Liunian Harold Li, Aaron Chan, Jack Hessel, Yejin Choi, Xiang Ren

cs.AI

Samenvatting

Grote taalmodelen (LMs) zijn in staat om vrije-tekstredeneringen te genereren om vraagbeantwoording te ondersteunen. Eerdere onderzoeken suggereren echter 1) dat nuttige zelfredenering alleen ontstaat bij aanzienlijke schaal (bijvoorbeeld GPT-3 met 175B parameters); en 2) richten zich grotendeels op downstreamprestaties, waarbij de semantiek van de redeneringen zelf wordt genegeerd, zoals of ze betrouwbaar, waar en nuttig zijn voor mensen. In dit werk stellen we kleinschalige LMs (ongeveer 200x kleiner dan GPT-3) in staat om redeneringen te genereren die niet alleen de prestaties van downstreamtaken verbeteren, maar ook plausibeler, consistenter en diverser zijn, beoordeeld door zowel automatische als menselijke evaluatie. Onze methode, MaRio (Multi-rewArd RatIOnalization), is een multi-beloning geconditioneerd zelfredeneringsalgoritme dat meerdere verschillende eigenschappen optimaliseert, zoals plausibiliteit, diversiteit en consistentie. Resultaten op vijf uitdagende vraagbeantwoordingsdatasets—StrategyQA, QuaRel, OpenBookQA, NumerSense en QASC—laten zien dat MaRio niet alleen de taaknauwkeurigheid verbetert, maar ook de kwaliteit van zelfredenering van kleine LMs verbetert op de bovengenoemde aspecten, beter dan een baseline van supervised fine-tuning (SFT). Uitgebreide menselijke evaluaties bevestigen dat MaRio-redeneringen de voorkeur genieten boven SFT-redeneringen, evenals kwalitatieve verbeteringen in plausibiliteit en consistentie.

English

Large language models (LMs) are capable of generating free-text rationales to aid question answering. However, prior work 1) suggests that useful self-rationalization is emergent only at significant scales (e.g., 175B parameter GPT-3); and 2) focuses largely on downstream performance, ignoring the semantics of the rationales themselves, e.g., are they faithful, true, and helpful for humans? In this work, we enable small-scale LMs (approx. 200x smaller than GPT-3) to generate rationales that not only improve downstream task performance, but are also more plausible, consistent, and diverse, assessed both by automatic and human evaluation. Our method, MaRio (Multi-rewArd RatIOnalization), is a multi-reward conditioned self-rationalization algorithm that optimizes multiple distinct properties like plausibility, diversity and consistency. Results on five difficult question-answering datasets StrategyQA, QuaRel, OpenBookQA, NumerSense and QASC show that not only does MaRio improve task accuracy, but it also improves the self-rationalization quality of small LMs across the aforementioned axes better than a supervised fine-tuning (SFT) baseline. Extensive human evaluations confirm that MaRio rationales are preferred vs. SFT rationales, as well as qualitative improvements in plausibility and consistency.