Нестандартное рассуждение: Абдуктивное рассуждение о необычных ситуациях

UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations

November 14, 2023

Авторы: Wenting Zhao, Justin T Chiu, Jena D. Hwang, Faeze Brahman, Jack Hessel, Sanjiban Choudhury, Yejin Choi, Xiang Lorraine Li, Alane Suhr

cs.AI

Аннотация

Языковые технологии, которые точно моделируют динамику событий, должны выполнять рассуждения на основе здравого смысла. Существующие работы, оценивающие способность к такому рассуждению, сосредоточены на выводах о типичных, повседневных ситуациях. Чтобы вместо этого исследовать способность моделировать необычные, неожиданные и маловероятные ситуации, мы изучаем задачу абдуктивного рассуждения в нестандартных условиях. В рамках этой задачи, получив контекст с неожиданным исходом, необходимо сгенерировать объяснение на естественном языке, которое делает этот исход более вероятным в данном контексте. Для этого мы создаем и публикуем новый корпус на английском языке под названием UNcommonsense. Мы анализируем различия в качестве объяснений, созданных людьми и лучшими крупными языковыми моделями, и обнаруживаем, что объяснения, написанные людьми с использованием моделей, достигают наивысшего качества за счет баланса между специфичностью и разнообразием. Наконец, мы экспериментируем с несколькими алгоритмами онлайн-обучения с подражанием, чтобы обучить открытые и доступные языковые модели для этой задачи. По сравнению с базовым подходом тонкой настройки с учителем, эти методы последовательно снижают частоту ошибок как в стандартных, так и в нестандартных задачах абдуктивного рассуждения, что подтверждается оценками экспертов.

English

Language technologies that accurately model the dynamics of events must perform commonsense reasoning. Existing work evaluating commonsense reasoning focuses on making inferences about common, everyday situations. To instead investigate the ability to model unusual, unexpected, and unlikely situations, we explore the task of uncommonsense abductive reasoning. Given a piece of context with an unexpected outcome, this task requires reasoning abductively to generate a natural language explanation that makes the unexpected outcome more likely in the context. To this end, we curate and release a new English language corpus called UNcommonsense. We characterize the differences between the performance of human explainers and the best performing large language models, finding that model-enhanced human-written explanations achieve the highest quality by trading off between specificity and diversity. Finally, we experiment with several online imitation learning algorithms to train open and accessible language models on this task. When compared with the vanilla supervised fine-tuning approach, these methods consistently reduce lose rates on both common and uncommonsense abductive reasoning judged by human evaluators.