バックトレーシング: クエリの原因の検索
Backtracing: Retrieving the Cause of the Query
March 6, 2024
著者: Rose E. Wang, Pawan Wirawarn, Omar Khattab, Noah Goodman, Dorottya Demszky
cs.AI
要旨
多くのオンラインコンテンツポータルでは、ユーザーが理解を深めるために質問をすることができます(例:講義について)。情報検索(IR)システムは、そのようなユーザークエリに対する回答を提供するかもしれませんが、コンテンツ作成者(例えば、講義内容を改善したい講師)が、ユーザーがその質問をした原因となったセグメントを直接特定するのを支援することはありません。私たちは、ユーザークエリの原因となったテキストセグメントを検索する「バックトレーシング」というタスクを導入します。バックトレーシングがコンテンツ配信とコミュニケーションの改善に重要な3つの現実世界のドメインを形式化します:(a)講義ドメインにおける学生の混乱の原因を理解すること、(b)ニュース記事ドメインにおける読者の好奇心の原因を理解すること、(c)会話ドメインにおけるユーザーの感情の原因を理解することです。私たちは、バイエンコーダー、再ランキング、尤度ベースの手法、およびChatGPTを含む、人気のある情報検索手法と言語モデリング手法のゼロショット性能を評価します。従来のIRシステムは、意味的に関連する情報(例:「投影行列」に関する詳細を「複数回投影しても同じ点になるのか?」というクエリに対して)を検索しますが、因果的に関連する文脈(例:講師が「2回投影しても1回投影したのと同じ答えが得られる」と述べている)を見逃すことがよくあります。私たちの結果は、バックトレーシングには改善の余地があり、新しい検索アプローチが必要であることを示しています。私たちのベンチマークが、バックトレーシングのための将来の検索システムを改善し、コンテンツ生成を洗練させ、ユーザークエリに影響を与える言語的トリガーを特定するシステムを生み出すことを願っています。私たちのコードとデータはオープンソースです:https://github.com/rosewang2008/backtracing。
English
Many online content portals allow users to ask questions to supplement their
understanding (e.g., of lectures). While information retrieval (IR) systems may
provide answers for such user queries, they do not directly assist content
creators -- such as lecturers who want to improve their content -- identify
segments that _caused_ a user to ask those questions. We introduce the task of
backtracing, in which systems retrieve the text segment that most likely caused
a user query. We formalize three real-world domains for which backtracing is
important in improving content delivery and communication: understanding the
cause of (a) student confusion in the Lecture domain, (b) reader curiosity in
the News Article domain, and (c) user emotion in the Conversation domain. We
evaluate the zero-shot performance of popular information retrieval methods and
language modeling methods, including bi-encoder, re-ranking and
likelihood-based methods and ChatGPT. While traditional IR systems retrieve
semantically relevant information (e.g., details on "projection matrices" for a
query "does projecting multiple times still lead to the same point?"), they
often miss the causally relevant context (e.g., the lecturer states "projecting
twice gets me the same answer as one projection"). Our results show that there
is room for improvement on backtracing and it requires new retrieval
approaches. We hope our benchmark serves to improve future retrieval systems
for backtracing, spawning systems that refine content generation and identify
linguistic triggers influencing user queries. Our code and data are
open-sourced: https://github.com/rosewang2008/backtracing.