Ragionamento non comune: Ragionamento abduttivo su situazioni insolite

UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations

November 14, 2023

Autori: Wenting Zhao, Justin T Chiu, Jena D. Hwang, Faeze Brahman, Jack Hessel, Sanjiban Choudhury, Yejin Choi, Xiang Lorraine Li, Alane Suhr

cs.AI

Abstract

Le tecnologie linguistiche che modellano accuratamente la dinamica degli eventi devono eseguire ragionamenti di senso comune. Il lavoro esistente che valuta il ragionamento di senso comune si concentra sull'effettuare inferenze su situazioni comuni e quotidiane. Per indagare invece la capacità di modellare situazioni insolite, inaspettate e improbabili, esploriamo il compito del ragionamento abduttivo non comune. Dato un contesto con un esito inaspettato, questo compito richiede di ragionare in modo abduttivo per generare una spiegazione in linguaggio naturale che renda l'esito inaspettato più probabile nel contesto. A tal fine, curiamo e rilasciamo un nuovo corpus in lingua inglese chiamato UNcommonsense. Caratterizziamo le differenze tra le prestazioni di spiegatori umani e i migliori modelli linguistici di grandi dimensioni, riscontrando che le spiegazioni scritte da umani e migliorate dai modelli raggiungono la qualità più elevata bilanciando specificità e diversità. Infine, sperimentiamo con diversi algoritmi di apprendimento per imitazione online per addestrare modelli linguistici aperti e accessibili su questo compito. Rispetto all'approccio di fine-tuning supervisionato standard, questi metodi riducono costantemente i tassi di perdita sia nel ragionamento abduttivo comune che non comune, secondo il giudizio di valutatori umani.

English

Language technologies that accurately model the dynamics of events must perform commonsense reasoning. Existing work evaluating commonsense reasoning focuses on making inferences about common, everyday situations. To instead investigate the ability to model unusual, unexpected, and unlikely situations, we explore the task of uncommonsense abductive reasoning. Given a piece of context with an unexpected outcome, this task requires reasoning abductively to generate a natural language explanation that makes the unexpected outcome more likely in the context. To this end, we curate and release a new English language corpus called UNcommonsense. We characterize the differences between the performance of human explainers and the best performing large language models, finding that model-enhanced human-written explanations achieve the highest quality by trading off between specificity and diversity. Finally, we experiment with several online imitation learning algorithms to train open and accessible language models on this task. When compared with the vanilla supervised fine-tuning approach, these methods consistently reduce lose rates on both common and uncommonsense abductive reasoning judged by human evaluators.