Raisonnement non conventionnel : Raisonnement abductif sur des situations inhabituelles

UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations

November 14, 2023

Auteurs: Wenting Zhao, Justin T Chiu, Jena D. Hwang, Faeze Brahman, Jack Hessel, Sanjiban Choudhury, Yejin Choi, Xiang Lorraine Li, Alane Suhr

cs.AI

Résumé

Les technologies linguistiques qui modélisent avec précision la dynamique des événements doivent intégrer un raisonnement de bon sens. Les travaux existants évaluant le raisonnement de bon sens se concentrent sur la déduction de conclusions à partir de situations courantes et quotidiennes. Pour explorer plutôt la capacité à modéliser des situations inhabituelles, inattendues et improbables, nous étudions la tâche du raisonnement abductif non conventionnel. Étant donné un contexte avec un résultat inattendu, cette tâche nécessite un raisonnement abductif pour générer une explication en langage naturel qui rende le résultat inattendu plus plausible dans ce contexte. À cette fin, nous constituons et publions un nouveau corpus en anglais appelé UNcommonsense. Nous caractérisons les différences entre les performances des explicateurs humains et celles des meilleurs modèles de langage à grande échelle, constatant que les explications humaines améliorées par les modèles atteignent la plus haute qualité en équilibrant spécificité et diversité. Enfin, nous expérimentons plusieurs algorithmes d'apprentissage par imitation en ligne pour entraîner des modèles de langage ouverts et accessibles sur cette tâche. Comparées à l'approche classique de fine-tuning supervisé, ces méthodes réduisent systématiquement les taux d'erreur dans le raisonnement abductif, qu'il soit courant ou non conventionnel, selon les évaluations humaines.

English

Language technologies that accurately model the dynamics of events must perform commonsense reasoning. Existing work evaluating commonsense reasoning focuses on making inferences about common, everyday situations. To instead investigate the ability to model unusual, unexpected, and unlikely situations, we explore the task of uncommonsense abductive reasoning. Given a piece of context with an unexpected outcome, this task requires reasoning abductively to generate a natural language explanation that makes the unexpected outcome more likely in the context. To this end, we curate and release a new English language corpus called UNcommonsense. We characterize the differences between the performance of human explainers and the best performing large language models, finding that model-enhanced human-written explanations achieve the highest quality by trading off between specificity and diversity. Finally, we experiment with several online imitation learning algorithms to train open and accessible language models on this task. When compared with the vanilla supervised fine-tuning approach, these methods consistently reduce lose rates on both common and uncommonsense abductive reasoning judged by human evaluators.