무엇을 더 고쳐야 할까? 대화를 통해 생성된 산출물의 수정 전파를 위한 비용 효율적인 테스트-타임 컴퓨팅 탐구

초록

대규모 언어 모델(LLM)은 종종 대화에서 생성과 수정의 반복적인 주기를 통해 사용자가 산출물을 생성하도록 돕는다. 여기서의 과제는, 사용자가 수정 과정에서 국소적 변경만을 지정할 경우, LLM이 대신 관련 의존성을 식별하고 수정 사항을 산출물의 모든 영향받는 부분에 전파해야 한다는 것이다. 본 논문은 대화를 통해 생성된 산출물에 대한 LLM의 이러한 능력을 연구하며, 여기서 산출물 맥락과 그 의존성은 대화 기록에 내재되어 있을 수 있다. 실용적 활용을 위해, 우리는 또한 이 새로운 설정에 대한 비용 효율적인 테스트 시점 연산을 탐구한다. 구체적으로, 우리는 이 설정을 위한 새로운 벤치마크를 도입하고, 순차 성찰 및 병렬 샘플링 변형을 포함한 아홉 가지 수정 방법을 gpt-oss-20b/120b, gpt-5.4-mini, qwen3.5-9b/27b/122b를 사용하여 벤치마크에서 평가한다. 결과는 기준 방법들이 68.3~93%의 정확도를 달성하며, 가장 비용 효율적인 방법은 LLM 기반 또는 메도이드 선택을 통해 세 개의 병렬 샘플 중에서 선택하는 것으로, 이는 정확도를 2.2~9.7% 향상시킨다는 것을 보여준다. 우리의 코드와 데이터셋은 https://github.com/ntt-dkiku/llm-revision-propagation에서 이용 가능하다.

English

Large Language Models (LLMs) often help users generate artifacts through iterative cycles of generation and revision in conversation. A challenge here is that, when users specify only a local change during revision, LLMs must instead identify the relevant dependencies and propagate the revision to all affected parts of the artifact. This paper studies this ability of LLMs on conversationally generated artifacts, where the artifact context and its dependencies may be embedded in the conversation history. Toward practical use, we also explore cost-effective test-time compute for this new setting. Specifically, we introduce a new benchmark for this setting, and evaluate nine revision methods, including sequential reflection and parallel sampling variants, using gpt-oss-20b/120b, gpt-5.4-mini, and qwen3.5-9b/27b/122b on the benchmark. The results show that baselines achieve accuracies of 68.3--93%, and the most cost-effective method is selecting from three parallel samples using either LLM-based or medoid selection, which improves accuracy by 2.2--9.7%. Our code and dataset are available at https://github.com/ntt-dkiku/llm-revision-propagation.