더 적은 명확화, 더 나은 코드: 코딩 어시스턴트의 세션 간 개인화된 모호성 적응 벤치마킹

초록

AI 지원 코딩은 점점 더 비공식적인 사용자 의도를 실행 가능한 소프트웨어로 변환하고 있지만, 코딩 요청에는 작업과 세션에 걸쳐 사용자별로 반복되는 모호성이 자주 포함된다. 기존의 모호성 해소 방법은 일반적으로 현재 코딩 세션 내에서 각 모호한 요청을 개별적으로 처리하며, 종종 추가적인 명확화를 유도하는 방식을 사용한다. 그러나 동일 사용자의 해결된 세션 기록이 새로 시작된 세션에서 반복되는 개인화된 모호성을 해결하는 데 메모리로 사용될 수 있는지는 아직 충분히 연구되지 않았다. 우리는 개인화된 모호성 적응을 새로운 작업으로 정의한다. 즉, 사용자가 이전에 해결한 코딩 세션과 새로운 모호한 요청이 주어졌을 때, 어시스턴트는 반복되는 모호성 패턴을 식별하고 의도된 실행 가능한 해결책을 생성하며 명확화를 최소화해야 한다. 이 작업을 벤치마킹하기 위해 우리는 CAPA를 도입한다. CAPA는 여섯 가지 메커니즘을 통해 개인화된 코딩 모호성을 특성화하고, 통제된 3단계 생성 파이프라인을 사용하여 이러한 메커니즘을 모호성이 없는 실행 가능한 작업에 주입한다. CAPA는 300개의 홀드아웃 평가 세션을 포함하여 60개의 균형 잡힌 사용자-모호성 셀에 걸쳐 600개의 코딩 세션을 포함한다. 우리는 실행 성공, 첫 턴 성공, 완료까지의 턴 수를 지표로 사용하여 히스토리가 없는 조건과 동일 사용자 히스토리가 있는 조건에서 최근 12개 LLM을 평가한다. 우리의 분석은 작업 난이도, 사용자 정체성, 메모리 기반 히스토리 사용을 조사하며, 추가로 경량의 추론 시점 방법으로 동일 사용자 히스토리 게이팅을 제안한다. CAPA는 생성된 코드를 사용자 의도와 더 잘 일치시키면서 반복적인 명확화를 줄이는 장기적 코딩 어시스턴트 개발을 위한 기반을 제공한다.

English

AI-assisted coding increasingly translates informal user intent into executable software, yet coding requests often contain ambiguities that recur in user-specific ways across tasks and sessions. Existing disambiguation methods typically address each ambiguous request in isolation within the current coding session, often through eliciting additional clarification. However, whether resolved session history from the same user can serve as memory for resolving recurring personalized ambiguity in a newly opened session remains underexplored. We formulate personalized ambiguity adaptation as a new task: given a user's previously resolved coding sessions and a new ambiguous request, an assistant should identify the recurring ambiguity pattern, produce the intended executable solution, and minimize clarification. To benchmark this task, we introduce CAPA, which characterizes personalized coding ambiguity through six mechanisms and injects these mechanisms into unambiguous executable tasks using a controlled three-stage generation pipeline. CAPA contains 600 coding sessions across 60 balanced user--ambiguity cells, including 300 held-out evaluation sessions. We evaluate 12 recent LLMs under no-history and same-user-history conditions using executable success, first-turn success, and turns-to-completion. Our analyses examine task difficulty, user identity, and memory-based history use, and we further propose same-user history gating as a lightweight inference-time method. CAPA provides a foundation for developing long-term coding assistants that better align generated code with user intent while reducing repeated clarification.