NExT-Search: 생성적 AI 검색을 위한 사용자 피드백 생태계 재구축

NExT-Search: Rebuilding User Feedback Ecosystem for Generative AI Search

May 20, 2025

저자: Sunhao Dai, Wenjie Wang, Liang Pang, Jun Xu, See-Kiong Ng, Ji-Rong Wen, Tat-Seng Chua

cs.AI

초록

생성형 AI 검색은 복잡한 질문에 대해 종단 간 답변을 제공함으로써 정보 검색을 재편하고 있으며, 사용자가 여러 웹 페이지를 직접 탐색하고 요약하는 데 의존하는 정도를 줄이고 있습니다. 그러나 이러한 패러다임은 편의성을 높이는 동시에, 전통적인 웹 검색의 진화를 이끌어 온 피드백 기반 개선 루프를 방해하고 있습니다. 웹 검색은 문서 수준에서 대규모의 세분화된 사용자 피드백(예: 클릭, 체류 시간)을 수집하여 순위 모델을 지속적으로 개선할 수 있습니다. 반면, 생성형 AI 검색은 질문 분해, 문서 검색, 답변 생성에 이르는 더 긴 검색 파이프라인을 통해 작동하지만, 일반적으로 최종 답변에 대한 대략적인 피드백만을 받습니다. 이로 인해 피드백 루프의 단절이 발생하며, 최종 출력에 대한 사용자 피드백이 시스템의 특정 구성 요소로 효과적으로 매핑되지 않아 각 중간 단계를 개선하고 피드백 루프를 유지하기 어렵게 만듭니다. 본 논문에서는 생성형 AI 검색에 세분화된 프로세스 수준의 피드백을 재도입하기 위해 설계된 차세대 패러다임인 NExT-Search를 제안합니다. NExT-Search는 두 가지 상호 보완적인 모드를 통합합니다: 첫째, 참여적인 사용자가 주요 단계에서 개입할 수 있는 '사용자 디버그 모드'; 둘째, 개인화된 사용자 에이전트가 사용자 선호도를 시뮬레이션하고 상호작용이 적은 사용자를 위해 AI 지원 피드백을 제공하는 '섀도우 사용자 모드'. 더 나아가, 이러한 피드백 신호를 실시간으로 현재 검색 출력을 개선하는 온라인 적응과 상호작용 로그를 집계하여 주기적으로 질문 분해, 검색, 생성 모델을 미세 조정하는 오프라인 업데이트를 통해 활용할 수 있는 방안을 제시합니다. 생성형 AI 검색 파이프라인의 주요 단계에 대한 인간의 통제를 복원함으로써, NExT-Search는 인간 피드백과 함께 지속적으로 진화할 수 있는 피드백이 풍부한 AI 검색 시스템을 구축하기 위한 유망한 방향을 제시한다고 믿습니다.

English

Generative AI search is reshaping information retrieval by offering end-to-end answers to complex queries, reducing users' reliance on manually browsing and summarizing multiple web pages. However, while this paradigm enhances convenience, it disrupts the feedback-driven improvement loop that has historically powered the evolution of traditional Web search. Web search can continuously improve their ranking models by collecting large-scale, fine-grained user feedback (e.g., clicks, dwell time) at the document level. In contrast, generative AI search operates through a much longer search pipeline, spanning query decomposition, document retrieval, and answer generation, yet typically receives only coarse-grained feedback on the final answer. This introduces a feedback loop disconnect, where user feedback for the final output cannot be effectively mapped back to specific system components, making it difficult to improve each intermediate stage and sustain the feedback loop. In this paper, we envision NExT-Search, a next-generation paradigm designed to reintroduce fine-grained, process-level feedback into generative AI search. NExT-Search integrates two complementary modes: User Debug Mode, which allows engaged users to intervene at key stages; and Shadow User Mode, where a personalized user agent simulates user preferences and provides AI-assisted feedback for less interactive users. Furthermore, we envision how these feedback signals can be leveraged through online adaptation, which refines current search outputs in real-time, and offline update, which aggregates interaction logs to periodically fine-tune query decomposition, retrieval, and generation models. By restoring human control over key stages of the generative AI search pipeline, we believe NExT-Search offers a promising direction for building feedback-rich AI search systems that can evolve continuously alongside human feedback.