NExT-Search: Het herontwerpen van het gebruikersfeedback-ecosysteem voor generatieve AI-zoekopdrachten

NExT-Search: Rebuilding User Feedback Ecosystem for Generative AI Search

May 20, 2025

Auteurs: Sunhao Dai, Wenjie Wang, Liang Pang, Jun Xu, See-Kiong Ng, Ji-Rong Wen, Tat-Seng Chua

cs.AI

Samenvatting

Generatieve AI-zoekopdrachten zijn bezig met het hervormen van informatieverwerking door end-to-end antwoorden te bieden op complexe vragen, waardoor gebruikers minder afhankelijk zijn van het handmatig doorzoeken en samenvatten van meerdere webpagina's. Dit paradigma vergroot echter het gemak, maar verstoort tegelijkertijd de feedbackgestuurde verbeteringscyclus die historisch gezien de evolutie van traditionele webzoekopdrachten heeft aangedreven. Webzoekopdrachten kunnen hun rankingmodellen continu verbeteren door grootschalige, gedetailleerde gebruikersfeedback (bijv. klikken, verblijftijd) op documentniveau te verzamelen. In tegenstelling hiermee werkt generatieve AI-zoekopdrachten via een veel langere zoekpijplijn, die query-decompositie, documentretrieval en antwoordgeneratie omvat, maar meestal alleen grove feedback op het uiteindelijke antwoord ontvangt. Dit introduceert een disconnect in de feedbackloop, waarbij gebruikersfeedback voor de uiteindelijke output niet effectief kan worden teruggekoppeld naar specifieke systeemcomponenten, wat het verbeteren van elke tussenliggende fase en het in stand houden van de feedbackloop bemoeilijkt. In dit artikel stellen we NExT-Search voor, een next-generation paradigma dat is ontworpen om gedetailleerde, procesniveau feedback opnieuw te introduceren in generatieve AI-zoekopdrachten. NExT-Search integreert twee complementaire modi: User Debug Mode, waarbij betrokken gebruikers kunnen ingrijpen op cruciale fasen; en Shadow User Mode, waarbij een gepersonaliseerde gebruikersagent gebruikersvoorkeuren simuleert en AI-ondersteunde feedback biedt voor minder interactieve gebruikers. Bovendien schetsen we hoe deze feedbacksignalen kunnen worden benut via online aanpassing, die huidige zoekresultaten in real-time verfijnt, en offline updates, die interactielogboeken aggregeert om periodiek query-decompositie, retrieval en generatiemodellen af te stemmen. Door menselijke controle te herstellen over cruciale fasen van de generatieve AI-zoekpijplijn, geloven we dat NExT-Search een veelbelovende richting biedt voor het bouwen van feedbackrijke AI-zoeksystemen die continu kunnen evolueren naarmate menselijke feedback toeneemt.

English

Generative AI search is reshaping information retrieval by offering end-to-end answers to complex queries, reducing users' reliance on manually browsing and summarizing multiple web pages. However, while this paradigm enhances convenience, it disrupts the feedback-driven improvement loop that has historically powered the evolution of traditional Web search. Web search can continuously improve their ranking models by collecting large-scale, fine-grained user feedback (e.g., clicks, dwell time) at the document level. In contrast, generative AI search operates through a much longer search pipeline, spanning query decomposition, document retrieval, and answer generation, yet typically receives only coarse-grained feedback on the final answer. This introduces a feedback loop disconnect, where user feedback for the final output cannot be effectively mapped back to specific system components, making it difficult to improve each intermediate stage and sustain the feedback loop. In this paper, we envision NExT-Search, a next-generation paradigm designed to reintroduce fine-grained, process-level feedback into generative AI search. NExT-Search integrates two complementary modes: User Debug Mode, which allows engaged users to intervene at key stages; and Shadow User Mode, where a personalized user agent simulates user preferences and provides AI-assisted feedback for less interactive users. Furthermore, we envision how these feedback signals can be leveraged through online adaptation, which refines current search outputs in real-time, and offline update, which aggregates interaction logs to periodically fine-tune query decomposition, retrieval, and generation models. By restoring human control over key stages of the generative AI search pipeline, we believe NExT-Search offers a promising direction for building feedback-rich AI search systems that can evolve continuously alongside human feedback.