「何をしているの？」：マルチステップ処理中のエージェンティックLLM車載アシスタントによる中間フィードバックの効果

要旨

自律的に多段階タスクを実行するエージェンシックAIアシスタントは、ユーザーエクスペリエンスにおいて未解決の問題を提起する：特に運転のような注意力が重要な状況下で、このようなシステムは長時間の操作中に進捗状況と推論をどのように伝達すべきか？我々は、計画されたステップと中間結果のフィードバックを、最終結果のみの応答による無音操作と比較する、制御された混合手法研究（N=45）を通じて、エージェンシックLLMベースの車載アシスタントにおけるフィードバックのタイミングと詳細度を調査した。車載音声アシスタントを用いた二重課題パラダイムを使用し、中間フィードバックが知覚速度、信頼性、ユーザーエクスペリエンスを大幅に改善し、タスク負荷を低減することを発見した——この効果は、様々なタスク複雑性とインタラクション文脈にわたって一貫して認められた。インタビューからさらに、ユーザーが適応的アプローチを好むことが明らかになった：信頼関係を構築するための初期の高い透明性、システムの信頼性が実証されるにつれて段階的に詳細度を低下させること、タスクの重要性と状況文脈に基づく調整である。我々は実証的知見を、透明性と効率性のバランスを考慮した、エージェンシックアシスタントにおけるフィードバックのタイミングと詳細度に関する設計示唆へと変換する。

English

Agentic AI assistants that autonomously perform multi-step tasks raise open questions for user experience: how should such systems communicate progress and reasoning during extended operations, especially in attention-critical contexts such as driving? We investigate feedback timing and verbosity from agentic LLM-based in-car assistants through a controlled, mixed-methods study (N=45) comparing planned steps and intermediate results feedback against silent operation with final-only response. Using a dual-task paradigm with an in-car voice assistant, we found that intermediate feedback significantly improved perceived speed, trust, and user experience while reducing task load - effects that held across varying task complexities and interaction contexts. Interviews further revealed user preferences for an adaptive approach: high initial transparency to establish trust, followed by progressively reducing verbosity as systems prove reliable, with adjustments based on task stakes and situational context. We translate our empirical findings into design implications for feedback timing and verbosity in agentic assistants, balancing transparency and efficiency.

「何をしているの？」：マルチステップ処理中のエージェンティックLLM車載アシスタントによる中間フィードバックの効果

"What Are You Doing?": Effects of Intermediate Feedback from Agentic LLM In-Car Assistants During Multi-Step Processing

要旨

Support