より少ない明確化、より良いコード：コーディングアシスタントにおけるセッション横断的なパーソナライズ型曖昧性適応のベンチマーキング

要旨

AI支援コーディングは、非形式的なユーザーの意図を実行可能なソフトウェアへとますます変換するようになっているが、コーディング要求には、タスクやセッションをまたいでユーザー固有の形で繰り返し発生する曖昧性がしばしば含まれる。既存の曖昧性解消手法は、通常、現在のコーディングセッション内で各曖昧な要求を個別に扱い、多くの場合、追加の明確化を引き出すことによって対処する。しかしながら、同一ユーザーの解決済みセッション履歴が、新しく開始されたセッションにおける繰り返し発生する個人化された曖昧性を解決するための記憶として機能し得るかどうかは、十分に探求されていない。我々は、個人化された曖昧性適応を新たなタスクとして定式化する：ユーザーの過去に解決済みのコーディングセッションと新たな曖昧な要求が与えられたとき、アシスタントは繰り返し発生する曖昧性パターンを特定し、意図された実行可能な解決策を生成し、明確化を最小限に抑えるべきである。このタスクをベンチマークするために、我々はCAPAを導入する。CAPAは、6つのメカニズムを通じて個人化されたコーディング曖昧性を特徴づけ、制御された3段階生成パイプラインを用いてこれらのメカニズムを曖昧性のない実行可能タスクに注入する。CAPAは、60のバランスの取れたユーザー-曖昧性セルにわたる600のコーディングセッションを含み、そのうち300は評価用に保持されたセッションである。我々は、最近の12のLLMを、履歴なし条件と同一ユーザー履歴条件の下で、実行可能成功率、初回ターン成功率、および完了までのターン数を用いて評価する。我々の分析は、タスク難易度、ユーザー同一性、および記憶に基づく履歴利用を検討し、さらに、軽量な推論時手法として同一ユーザー履歴ゲーティングを提案する。CAPAは、繰り返される明確化を減らしながら、生成されたコードをユーザーの意図とより良く整合させる長期的なコーディングアシスタントの開発のための基盤を提供する。

English

AI-assisted coding increasingly translates informal user intent into executable software, yet coding requests often contain ambiguities that recur in user-specific ways across tasks and sessions. Existing disambiguation methods typically address each ambiguous request in isolation within the current coding session, often through eliciting additional clarification. However, whether resolved session history from the same user can serve as memory for resolving recurring personalized ambiguity in a newly opened session remains underexplored. We formulate personalized ambiguity adaptation as a new task: given a user's previously resolved coding sessions and a new ambiguous request, an assistant should identify the recurring ambiguity pattern, produce the intended executable solution, and minimize clarification. To benchmark this task, we introduce CAPA, which characterizes personalized coding ambiguity through six mechanisms and injects these mechanisms into unambiguous executable tasks using a controlled three-stage generation pipeline. CAPA contains 600 coding sessions across 60 balanced user--ambiguity cells, including 300 held-out evaluation sessions. We evaluate 12 recent LLMs under no-history and same-user-history conditions using executable success, first-turn success, and turns-to-completion. Our analyses examine task difficulty, user identity, and memory-based history use, and we further propose same-user history gating as a lightweight inference-time method. CAPA provides a foundation for developing long-term coding assistants that better align generated code with user intent while reducing repeated clarification.