バックトレーシング: クエリの原因の検索

Backtracing: Retrieving the Cause of the Query

March 6, 2024

著者: Rose E. Wang, Pawan Wirawarn, Omar Khattab, Noah Goodman, Dorottya Demszky

cs.AI

要旨

多くのオンラインコンテンツポータルでは、ユーザーが理解を深めるために質問をすることができます（例：講義について）。情報検索（IR）システムは、そのようなユーザークエリに対する回答を提供するかもしれませんが、コンテンツ作成者（例えば、講義内容を改善したい講師）が、ユーザーがその質問をした原因となったセグメントを直接特定するのを支援することはありません。私たちは、ユーザークエリの原因となったテキストセグメントを検索する「バックトレーシング」というタスクを導入します。バックトレーシングがコンテンツ配信とコミュニケーションの改善に重要な3つの現実世界のドメインを形式化します：（a）講義ドメインにおける学生の混乱の原因を理解すること、（b）ニュース記事ドメインにおける読者の好奇心の原因を理解すること、（c）会話ドメインにおけるユーザーの感情の原因を理解することです。私たちは、バイエンコーダー、再ランキング、尤度ベースの手法、およびChatGPTを含む、人気のある情報検索手法と言語モデリング手法のゼロショット性能を評価します。従来のIRシステムは、意味的に関連する情報（例：「投影行列」に関する詳細を「複数回投影しても同じ点になるのか？」というクエリに対して）を検索しますが、因果的に関連する文脈（例：講師が「2回投影しても1回投影したのと同じ答えが得られる」と述べている）を見逃すことがよくあります。私たちの結果は、バックトレーシングには改善の余地があり、新しい検索アプローチが必要であることを示しています。私たちのベンチマークが、バックトレーシングのための将来の検索システムを改善し、コンテンツ生成を洗練させ、ユーザークエリに影響を与える言語的トリガーを特定するシステムを生み出すことを願っています。私たちのコードとデータはオープンソースです：https://github.com/rosewang2008/backtracing。

English

Many online content portals allow users to ask questions to supplement their understanding (e.g., of lectures). While information retrieval (IR) systems may provide answers for such user queries, they do not directly assist content creators -- such as lecturers who want to improve their content -- identify segments that _caused_ a user to ask those questions. We introduce the task of backtracing, in which systems retrieve the text segment that most likely caused a user query. We formalize three real-world domains for which backtracing is important in improving content delivery and communication: understanding the cause of (a) student confusion in the Lecture domain, (b) reader curiosity in the News Article domain, and (c) user emotion in the Conversation domain. We evaluate the zero-shot performance of popular information retrieval methods and language modeling methods, including bi-encoder, re-ranking and likelihood-based methods and ChatGPT. While traditional IR systems retrieve semantically relevant information (e.g., details on "projection matrices" for a query "does projecting multiple times still lead to the same point?"), they often miss the causally relevant context (e.g., the lecturer states "projecting twice gets me the same answer as one projection"). Our results show that there is room for improvement on backtracing and it requires new retrieval approaches. We hope our benchmark serves to improve future retrieval systems for backtracing, spawning systems that refine content generation and identify linguistic triggers influencing user queries. Our code and data are open-sourced: https://github.com/rosewang2008/backtracing.