UNcommonsense Redeneren: Abductief Redeneren over Ongebruikelijke Situaties

UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations

November 14, 2023

Auteurs: Wenting Zhao, Justin T Chiu, Jena D. Hwang, Faeze Brahman, Jack Hessel, Sanjiban Choudhury, Yejin Choi, Xiang Lorraine Li, Alane Suhr

cs.AI

Samenvatting

Taaltechnologieën die de dynamiek van gebeurtenissen nauwkeurig modelleren, moeten gezond verstand kunnen toepassen. Bestaand onderzoek naar gezond verstand richt zich op het maken van gevolgtrekkingen over alledaagse, veelvoorkomende situaties. Om in plaats daarvan het vermogen te onderzoeken om ongebruikelijke, onverwachte en onwaarschijnlijke situaties te modelleren, verkennen we de taak van ongebruikelijk gezond verstand via abductief redeneren. Gegeven een stuk context met een onverwacht resultaat, vereist deze taak het abductief redeneren om een natuurlijke taalverklaring te genereren die het onverwachte resultaat waarschijnlijker maakt in de context. Hiertoe hebben we een nieuw Engelstalig corpus samengesteld en vrijgegeven, genaamd UNcommonsense. We karakteriseren de verschillen tussen de prestaties van menselijke uitleggers en de best presterende grote taalmodellen, waarbij we vaststellen dat door modellen verbeterde, door mensen geschreven verklaringen de hoogste kwaliteit bereiken door een balans te vinden tussen specificiteit en diversiteit. Tot slot experimenteren we met verschillende online imitatielerende algoritmen om open en toegankelijke taalmodellen voor deze taak te trainen. In vergelijking met de standaard supervised fine-tuning aanpak verminderen deze methoden consistent de verliespercentages bij zowel alledaags als ongebruikelijk gezond verstand via abductief redeneren, zoals beoordeeld door menselijke evaluatoren.

English

Language technologies that accurately model the dynamics of events must perform commonsense reasoning. Existing work evaluating commonsense reasoning focuses on making inferences about common, everyday situations. To instead investigate the ability to model unusual, unexpected, and unlikely situations, we explore the task of uncommonsense abductive reasoning. Given a piece of context with an unexpected outcome, this task requires reasoning abductively to generate a natural language explanation that makes the unexpected outcome more likely in the context. To this end, we curate and release a new English language corpus called UNcommonsense. We characterize the differences between the performance of human explainers and the best performing large language models, finding that model-enhanced human-written explanations achieve the highest quality by trading off between specificity and diversity. Finally, we experiment with several online imitation learning algorithms to train open and accessible language models on this task. When compared with the vanilla supervised fine-tuning approach, these methods consistently reduce lose rates on both common and uncommonsense abductive reasoning judged by human evaluators.