컨텍스트 할당의 법칙: 생성형 검색에서의 인과적 측정과 폐루프 오케스트레이션

초록

검색 증강 생성(RAG)이 다양한 포트폴리오 생성으로 전환됨에 따라, 증거 활용의 잘못된 측정과 차선의 컨텍스트 예산 할당이라는 두 가지 중대한 병목 현상에 직면한다. 우리는 이 두 문제를 순차적으로 해결한다. 측정 문제를 해결하기 위해, 우리는 널리 퍼져 있는 ‘진단적 착각(diagnostic illusion)’을 밝혀낸다. 즉, 표준 관련성 프록시는 어려운 부정 예시(hard negatives)에서 치명적으로 실패한다. 우리는 이를 효율적인 인과적 leave-one-out 프로브로 대체하며, 이 프로브는 생성적 의존성을 정확하게 분리하고 LLM 주의(attention)의 구조적 희석을 공식적으로 보정한다. 할당 문제를 해결하기 위해, 우리는 이 인과적 프로브를 교란 요인이 제거된 요인 그리드에 배치한다. 단일 구조의 컨텍스트 확장이라는 기존 전략은 관련성 감쇠로 인해 불이익을 받는 구조적 함정임을 우리는 증명한다. 대신, 여러 순차적 생성에 걸쳐 계산 자원을 반복적으로 할당하면 포트폴리오 재현율에서 16.7~20.5 절대 퍼센트 포인트의 혁신적인 향상을 가져오며, 32B 모델까지 견고하게 확장된다. 마지막으로, 우리는 이러한 해결책들을 배포 가능한 폐루프 준모듈러 스케줄러로 통합한다. 어트리뷰션으로 유도된 대조 디코더를 통해 LLM 주의 관성을 극복함으로써, 우리의 아키텍처는 새로운 증거 통합을 체계적으로 강제한다. 고전적인 개루프 기준 모델들을 압도함으로써, 우리는 순차적이고 피드백 기반의 오케스트레이션을 생성적 검색의 결정적 패러다임으로 확립한다. 코드, 데이터, 인과적 측정 도구는 https://github.com/PeiYangLiu/ascp 에서 확인할 수 있다.

English

As Retrieval-Augmented Generation (RAG) shifts toward diverse portfolio generation, it is stymied by two critical bottlenecks: flawed measurement of evidence utilization, and suboptimal context budget allocation. We resolve both sequentially. To resolve measurement, we expose a pervasive ``diagnostic illusion'': standard relevance proxies fail catastrophically on hard negatives. We replace them with an efficient causal leave-one-out probe that accurately isolates generative reliance and formally calibrates the structural dilution of LLM attention. To resolve allocation, we deploy this causal probe in a deconfounded factorial grid. We prove that the prevailing strategy of monolithic context widening is an architectural trap penalized by relevance decay. Instead, allocating compute iteratively across multiple sequential generations drives transformative portfolio recall gains of 16.7--20.5 absolute percentage points, scaling robustly up to 32B models. Finally, we unify these solutions into a deployable closed-loop submodular scheduler. Augmented by an attribution-steered contrastive decoder to override LLM attention inertia, our architecture systematically forces fresh evidence integration. By dominating classical open-loop baselines, we establish sequential, feedback-driven orchestration as the definitive paradigm for generative search. Our code, data, and causal measurement instruments are available at https://github.com/PeiYangLiu/ascp.