Rückverfolgung: Abrufen der Ursache der Abfrage
Backtracing: Retrieving the Cause of the Query
March 6, 2024
Autoren: Rose E. Wang, Pawan Wirawarn, Omar Khattab, Noah Goodman, Dorottya Demszky
cs.AI
Zusammenfassung
Viele Online-Inhaltsportale ermöglichen es Benutzern, Fragen zu stellen, um ihr Verständnis zu ergänzen (z. B. von Vorlesungen). Während Information Retrieval (IR)-Systeme Antworten auf solche Benutzeranfragen liefern können, unterstützen sie Content-Ersteller - wie Dozenten, die ihre Inhalte verbessern möchten - nicht direkt dabei, Segmente zu identifizieren, die dazu geführt haben, dass ein Benutzer diese Fragen stellt. Wir führen die Aufgabe des Backtracings ein, bei der Systeme das Textsegment abrufen, das höchstwahrscheinlich dazu geführt hat, dass ein Benutzer eine Anfrage stellt. Wir formalisieren drei realen Domänen, in denen Backtracing wichtig ist, um die Inhaltsbereitstellung und Kommunikation zu verbessern: das Verständnis der Ursache von (a) Studentenverwirrung in der Vorlesungsdomäne, (b) Leserinteresse in der Nachrichtenartikeldomäne und (c) Benutzeremotionen in der Konversationsdomäne. Wir bewerten die Null-Schuss-Leistung beliebter Information Retrieval-Methoden und Sprachmodellierungs-Methoden, einschließlich Bi-Encoder, Re-Ranking und Wahrscheinlichkeits-basierten Methoden sowie ChatGPT. Während traditionelle IR-Systeme semantisch relevante Informationen abrufen (z. B. Details zu "Projektionsmatrizen" für eine Anfrage "Führt mehrfaches Projektieren immer noch zum gleichen Punkt?"), verpassen sie oft den kausal relevanten Kontext (z. B. der Dozent sagt "Zweimaliges Projektieren liefert mir dieselbe Antwort wie eine Projektion"). Unsere Ergebnisse zeigen, dass es Verbesserungspotenzial beim Backtracing gibt und neue Abrufansätze erforderlich sind. Wir hoffen, dass unser Benchmark dazu beiträgt, zukünftige Abrufsysteme für das Backtracing zu verbessern, indem Systeme entwickelt werden, die die Inhaltsgenerierung verfeinern und linguistische Auslöser identifizieren, die Benutzeranfragen beeinflussen. Unser Code und unsere Daten sind Open Source verfügbar: https://github.com/rosewang2008/backtracing.
English
Many online content portals allow users to ask questions to supplement their
understanding (e.g., of lectures). While information retrieval (IR) systems may
provide answers for such user queries, they do not directly assist content
creators -- such as lecturers who want to improve their content -- identify
segments that _caused_ a user to ask those questions. We introduce the task of
backtracing, in which systems retrieve the text segment that most likely caused
a user query. We formalize three real-world domains for which backtracing is
important in improving content delivery and communication: understanding the
cause of (a) student confusion in the Lecture domain, (b) reader curiosity in
the News Article domain, and (c) user emotion in the Conversation domain. We
evaluate the zero-shot performance of popular information retrieval methods and
language modeling methods, including bi-encoder, re-ranking and
likelihood-based methods and ChatGPT. While traditional IR systems retrieve
semantically relevant information (e.g., details on "projection matrices" for a
query "does projecting multiple times still lead to the same point?"), they
often miss the causally relevant context (e.g., the lecturer states "projecting
twice gets me the same answer as one projection"). Our results show that there
is room for improvement on backtracing and it requires new retrieval
approaches. We hope our benchmark serves to improve future retrieval systems
for backtracing, spawning systems that refine content generation and identify
linguistic triggers influencing user queries. Our code and data are
open-sourced: https://github.com/rosewang2008/backtracing.