NExT-Search: 生成AI検索のためのユーザーフィードバックエコシステムの再構築

NExT-Search: Rebuilding User Feedback Ecosystem for Generative AI Search

May 20, 2025

著者: Sunhao Dai, Wenjie Wang, Liang Pang, Jun Xu, See-Kiong Ng, Ji-Rong Wen, Tat-Seng Chua

cs.AI

要旨

生成AI検索は、複雑なクエリに対するエンドツーエンドの回答を提供することで、情報検索の形を変えつつあり、ユーザーが複数のウェブページを手動で閲覧し要約する必要性を減らしています。しかし、このパラダイムは利便性を高める一方で、従来のウェブ検索の進化を支えてきたフィードバック駆動型の改善ループを断ち切っています。ウェブ検索は、ドキュメントレベルでの大規模で細かいユーザーフィードバック（例：クリック、滞在時間）を収集することで、ランキングモデルを継続的に改善できます。一方、生成AI検索は、クエリ分解、ドキュメント検索、回答生成にまたがるはるかに長い検索パイプラインを経て動作しますが、通常は最終的な回答に対する粗いフィードバックしか受け取りません。これにより、最終的な出力に対するユーザーフィードバックを特定のシステムコンポーネントに効果的にマッピングできないフィードバックループの断絶が生じ、各中間段階を改善しフィードバックループを維持することが難しくなります。本論文では、生成AI検索に細かいプロセスレベルのフィードバックを再導入する次世代パラダイムとしてNExT-Searchを構想します。NExT-Searchは、2つの補完的なモードを統合します：積極的なユーザーが主要な段階で介入できる「ユーザーデバッグモード」と、パーソナライズされたユーザーエージェントがユーザーの好みをシミュレートし、あまりインタラクティブでないユーザーに対してAI支援のフィードバックを提供する「シャドウユーザーモード」です。さらに、これらのフィードバック信号を活用する方法として、現在の検索出力をリアルタイムで洗練するオンライン適応と、インタラクションログを集約してクエリ分解、検索、生成モデルを定期的に微調整するオフライン更新を構想します。生成AI検索パイプラインの主要な段階に人間の制御を復元することで、NExT-Searchは人間のフィードバックと共に継続的に進化できるフィードバック豊富なAI検索システムを構築するための有望な方向性を提供すると考えます。

English

Generative AI search is reshaping information retrieval by offering end-to-end answers to complex queries, reducing users' reliance on manually browsing and summarizing multiple web pages. However, while this paradigm enhances convenience, it disrupts the feedback-driven improvement loop that has historically powered the evolution of traditional Web search. Web search can continuously improve their ranking models by collecting large-scale, fine-grained user feedback (e.g., clicks, dwell time) at the document level. In contrast, generative AI search operates through a much longer search pipeline, spanning query decomposition, document retrieval, and answer generation, yet typically receives only coarse-grained feedback on the final answer. This introduces a feedback loop disconnect, where user feedback for the final output cannot be effectively mapped back to specific system components, making it difficult to improve each intermediate stage and sustain the feedback loop. In this paper, we envision NExT-Search, a next-generation paradigm designed to reintroduce fine-grained, process-level feedback into generative AI search. NExT-Search integrates two complementary modes: User Debug Mode, which allows engaged users to intervene at key stages; and Shadow User Mode, where a personalized user agent simulates user preferences and provides AI-assisted feedback for less interactive users. Furthermore, we envision how these feedback signals can be leveraged through online adaptation, which refines current search outputs in real-time, and offline update, which aggregates interaction logs to periodically fine-tune query decomposition, retrieval, and generation models. By restoring human control over key stages of the generative AI search pipeline, we believe NExT-Search offers a promising direction for building feedback-rich AI search systems that can evolve continuously alongside human feedback.