NExT-Suche: Neugestaltung des Nutzerfeedback-Ökosystems für generative KI-Suche

NExT-Search: Rebuilding User Feedback Ecosystem for Generative AI Search

May 20, 2025

Autoren: Sunhao Dai, Wenjie Wang, Liang Pang, Jun Xu, See-Kiong Ng, Ji-Rong Wen, Tat-Seng Chua

cs.AI

Zusammenfassung

Generative KI-Suche revolutioniert die Informationsbeschaffung, indem sie End-to-End-Antworten auf komplexe Anfragen bietet und so die Abhängigkeit der Nutzer vom manuellen Durchsuchen und Zusammenfassen mehrerer Webseiten verringert. Während dieses Paradigma den Komfort erhöht, unterbricht es jedoch den feedbackgesteuerten Verbesserungsprozess, der historisch die Entwicklung der traditionellen Websuche vorangetrieben hat. Websuchsysteme können ihre Ranking-Modelle kontinuierlich verbessern, indem sie umfangreiche, detaillierte Nutzerfeedbackdaten (z. B. Klicks, Verweildauer) auf Dokumentebene sammeln. Im Gegensatz dazu operiert die generative KI-Suche über eine viel längere Suchpipeline, die Abfragezerlegung, Dokumentenabruf und Antwortgenerierung umfasst, erhält jedoch typischerweise nur grobkörniges Feedback zur endgültigen Antwort. Dies führt zu einer Unterbrechung des Feedbackkreislaufs, bei der das Nutzerfeedback für das Endergebnis nicht effektiv auf spezifische Systemkomponenten zurückgeführt werden kann, was die Verbesserung jeder Zwischenstufe und die Aufrechterhaltung des Feedbackkreislaufs erschwert. In diesem Artikel stellen wir uns NExT-Search vor, ein Paradigma der nächsten Generation, das darauf abzielt, detailliertes, prozessbasiertes Feedback in die generative KI-Suche zurückzuführen. NExT-Search integriert zwei komplementäre Modi: den User Debug Mode, der engagierten Nutzern ermöglicht, in Schlüsselphasen einzugreifen; und den Shadow User Mode, in dem ein personalisierter Nutzeragent die Präferenzen des Nutzers simuliert und KI-gestütztes Feedback für weniger interaktive Nutzer bereitstellt. Darüber hinaus skizzieren wir, wie diese Feedbacksignale durch Online-Anpassung, die aktuelle Suchergebnisse in Echtzeit verfeinert, und Offline-Updates, die Interaktionsprotokolle sammeln, um periodisch Abfragezerlegungs-, Abruf- und Generierungsmodelle zu optimieren, genutzt werden können. Indem NExT-Search die menschliche Kontrolle über Schlüsselphasen der generativen KI-Suchpipeline wiederherstellt, bietet es eine vielversprechende Richtung für die Entwicklung von feedbackreichen KI-Suchsystemen, die sich kontinuierlich parallel zum menschlichen Feedback weiterentwickeln können.

English

Generative AI search is reshaping information retrieval by offering end-to-end answers to complex queries, reducing users' reliance on manually browsing and summarizing multiple web pages. However, while this paradigm enhances convenience, it disrupts the feedback-driven improvement loop that has historically powered the evolution of traditional Web search. Web search can continuously improve their ranking models by collecting large-scale, fine-grained user feedback (e.g., clicks, dwell time) at the document level. In contrast, generative AI search operates through a much longer search pipeline, spanning query decomposition, document retrieval, and answer generation, yet typically receives only coarse-grained feedback on the final answer. This introduces a feedback loop disconnect, where user feedback for the final output cannot be effectively mapped back to specific system components, making it difficult to improve each intermediate stage and sustain the feedback loop. In this paper, we envision NExT-Search, a next-generation paradigm designed to reintroduce fine-grained, process-level feedback into generative AI search. NExT-Search integrates two complementary modes: User Debug Mode, which allows engaged users to intervene at key stages; and Shadow User Mode, where a personalized user agent simulates user preferences and provides AI-assisted feedback for less interactive users. Furthermore, we envision how these feedback signals can be leveraged through online adaptation, which refines current search outputs in real-time, and offline update, which aggregates interaction logs to periodically fine-tune query decomposition, retrieval, and generation models. By restoring human control over key stages of the generative AI search pipeline, we believe NExT-Search offers a promising direction for building feedback-rich AI search systems that can evolve continuously alongside human feedback.