Razonamiento fuera de lo común: Razonamiento abductivo sobre situaciones inusuales

UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations

November 14, 2023

Autores: Wenting Zhao, Justin T Chiu, Jena D. Hwang, Faeze Brahman, Jack Hessel, Sanjiban Choudhury, Yejin Choi, Xiang Lorraine Li, Alane Suhr

cs.AI

Resumen

Las tecnologías del lenguaje que modelan con precisión la dinámica de los eventos deben realizar razonamiento de sentido común. Los trabajos existentes que evalúan el razonamiento de sentido común se centran en hacer inferencias sobre situaciones cotidianas y comunes. Para investigar, en cambio, la capacidad de modelar situaciones inusuales, inesperadas e improbables, exploramos la tarea de razonamiento abductivo de no-sentido común. Dado un contexto con un resultado inesperado, esta tarea requiere razonar de manera abductiva para generar una explicación en lenguaje natural que haga más probable el resultado inesperado en dicho contexto. Con este fin, recopilamos y publicamos un nuevo corpus en inglés llamado UNcommonsense. Caracterizamos las diferencias entre el desempeño de explicadores humanos y los mejores modelos de lenguaje de gran escala, encontrando que las explicaciones escritas por humanos mejoradas por modelos logran la mayor calidad al equilibrar especificidad y diversidad. Finalmente, experimentamos con varios algoritmos de aprendizaje por imitación en línea para entrenar modelos de lenguaje abiertos y accesibles en esta tarea. En comparación con el enfoque de ajuste fino supervisado convencional, estos métodos reducen consistentemente las tasas de pérdida tanto en el razonamiento abductivo común como en el de no-sentido común, según la evaluación de jueces humanos.

English

Language technologies that accurately model the dynamics of events must perform commonsense reasoning. Existing work evaluating commonsense reasoning focuses on making inferences about common, everyday situations. To instead investigate the ability to model unusual, unexpected, and unlikely situations, we explore the task of uncommonsense abductive reasoning. Given a piece of context with an unexpected outcome, this task requires reasoning abductively to generate a natural language explanation that makes the unexpected outcome more likely in the context. To this end, we curate and release a new English language corpus called UNcommonsense. We characterize the differences between the performance of human explainers and the best performing large language models, finding that model-enhanced human-written explanations achieve the highest quality by trading off between specificity and diversity. Finally, we experiment with several online imitation learning algorithms to train open and accessible language models on this task. When compared with the vanilla supervised fine-tuning approach, these methods consistently reduce lose rates on both common and uncommonsense abductive reasoning judged by human evaluators.