非常識推論：異常な状況に関する仮説的推論

要旨

イベントのダイナミクスを正確にモデル化する言語技術は、常識推論を実行する必要がある。既存の常識推論を評価する研究は、日常的な状況に関する推論に焦点を当てている。一方で、異常で予期せず、起こりそうもない状況をモデル化する能力を調査するために、我々は「非日常的帰納推論」というタスクを探求する。このタスクでは、予期せぬ結果を含む文脈が与えられた場合、その結果を文脈内でより起こりそうなものにする自然言語の説明を帰納的に生成する必要がある。この目的のために、我々は「UNcommonsense」という新しい英語コーパスを整備し、公開した。人間の説明者と最高性能の大規模言語モデルのパフォーマンスの違いを特徴付け、モデルが強化した人間による説明が、特異性と多様性のトレードオフによって最高品質を達成することを発見した。最後に、このタスクに対してオープンでアクセス可能な言語モデルを訓練するために、いくつかのオンライン模倣学習アルゴリズムを実験した。人間の評価者によって判断された、一般的および非日常的帰納推論において、これらの方法は従来の教師あり微調整アプローチと比較して、一貫して損失率を減少させた。

English

Language technologies that accurately model the dynamics of events must perform commonsense reasoning. Existing work evaluating commonsense reasoning focuses on making inferences about common, everyday situations. To instead investigate the ability to model unusual, unexpected, and unlikely situations, we explore the task of uncommonsense abductive reasoning. Given a piece of context with an unexpected outcome, this task requires reasoning abductively to generate a natural language explanation that makes the unexpected outcome more likely in the context. To this end, we curate and release a new English language corpus called UNcommonsense. We characterize the differences between the performance of human explainers and the best performing large language models, finding that model-enhanced human-written explanations achieve the highest quality by trading off between specificity and diversity. Finally, we experiment with several online imitation learning algorithms to train open and accessible language models on this task. When compared with the vanilla supervised fine-tuning approach, these methods consistently reduce lose rates on both common and uncommonsense abductive reasoning judged by human evaluators.

非常識推論：異常な状況に関する仮説的推論

UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations

要旨

Support