UNcommonsense Reasoning: Abduktives Schließen über ungewöhnliche Situationen

UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations

November 14, 2023

Autoren: Wenting Zhao, Justin T Chiu, Jena D. Hwang, Faeze Brahman, Jack Hessel, Sanjiban Choudhury, Yejin Choi, Xiang Lorraine Li, Alane Suhr

cs.AI

Zusammenfassung

Sprachtechnologien, die die Dynamik von Ereignissen präzise modellieren, müssen gesunden Menschenverstand (Commonsense Reasoning) anwenden. Bisherige Arbeiten zur Bewertung von Commonsense Reasoning konzentrieren sich darauf, Schlussfolgerungen über alltägliche, gewöhnliche Situationen zu ziehen. Um stattdessen die Fähigkeit zur Modellierung ungewöhnlicher, unerwarteter und unwahrscheinlicher Situationen zu untersuchen, erforschen wir die Aufgabe des ungewöhnlichen abduktiven Schließens (Uncommonsense Abductive Reasoning). Bei dieser Aufgabe wird ein Kontext mit einem unerwarteten Ergebnis vorgegeben, und es ist erforderlich, abduktiv zu schließen, um eine natürliche sprachliche Erklärung zu generieren, die das unerwartete Ergebnis im Kontext wahrscheinlicher macht. Zu diesem Zweck stellen wir einen neuen englischsprachigen Korpus namens UNcommonsense zusammen und veröffentlichen ihn. Wir charakterisieren die Unterschiede zwischen der Leistung menschlicher Erklärer und den besten großen Sprachmodellen und stellen fest, dass durch Modelle verbesserte, von Menschen verfasste Erklärungen die höchste Qualität erreichen, indem sie zwischen Spezifität und Vielfalt abwägen. Schließlich experimentieren wir mit mehreren Online-Imitation-Learning-Algorithmen, um offene und zugängliche Sprachmodelle für diese Aufgabe zu trainieren. Im Vergleich zum herkömmlichen Ansatz des überwachten Feinabstimmens reduzieren diese Methoden konsequent die Verlustraten sowohl beim gewöhnlichen als auch beim ungewöhnlichen abduktiven Schließen, wie von menschlichen Bewertern beurteilt.

English

Language technologies that accurately model the dynamics of events must perform commonsense reasoning. Existing work evaluating commonsense reasoning focuses on making inferences about common, everyday situations. To instead investigate the ability to model unusual, unexpected, and unlikely situations, we explore the task of uncommonsense abductive reasoning. Given a piece of context with an unexpected outcome, this task requires reasoning abductively to generate a natural language explanation that makes the unexpected outcome more likely in the context. To this end, we curate and release a new English language corpus called UNcommonsense. We characterize the differences between the performance of human explainers and the best performing large language models, finding that model-enhanced human-written explanations achieve the highest quality by trading off between specificity and diversity. Finally, we experiment with several online imitation learning algorithms to train open and accessible language models on this task. When compared with the vanilla supervised fine-tuning approach, these methods consistently reduce lose rates on both common and uncommonsense abductive reasoning judged by human evaluators.