유효한 필드별 선택적 위험 통제를 위한 문서 추출: 세 가지 실패 모드, 유효성 사다리, 그리고 조건부 접근이 효과적인 경우

초록

필드별 수락/검토(per-field accept/review) — 수락된 필드들 사이에서 오류율이 통제될 때에만 필드를 수락하는 방식 — 는 문서 추출 시스템이 필요로 하는 신뢰 계약이며, 자연스러운 절차는 실제 문서들에서 이를 조용히 위반한다. 800개의 CORD 영수증에서 추출한 13,859개의 실제 claude-sonnet-5 필드(49.0% 정확)를 대상으로 우리는 세 가지 실패 모드를 진단한다: 문서 클러스터링(설계 효과 1.84–2.45), 점수 재적합 누출(커버리지 0.416, 위험 0.127, 분할의 95%에서 alpha=0.10을 위반), 그리고 동률 질량 병리현상(퇴화 점수가 임계값 그리드를 붕괴시켜 0.030에서 0.001로). 우리는 수정 방안을 타당성 사다리(validity ladder)로 조직화하고, 각 계층별로 보증 형태를 명시한다. 적합/검증 분할 프로토콜은 학습된 퓨전에 대해 기대 선택 위험 통제를 복원한다: 명목 alpha=0.10에서 커버리지 0.318, 위험 0.096, 허용 오차 밴드 없음(프로덕션 변형 0.326) — 이는 재분할의 47.5%에서 실현 위험이 alpha를 초과하는 평균적 지점일 뿐, 인증서는 아니다. 정확 이항 꼬리를 사용한 몬드리안 학습-후-검정(Mondrian Learn-then-Test)은 그룹별 PAC 인증서를 산출한다: 필드-iid 0.171(위험 0.068), 클러스터 보정 0.140, 문서-iid 0.060 — 문서와 일치하는 유일한 계층으로, 솔직히 현재로서는 거의 공허하다. 사전 지정 출처 분류법인 서포트 빈(Support-bin)은 sonnet CORD 캡처의 모든 엄격성 계층에서 승리한다(p<1e-4, 본페로니 보정) — 그러나 이 승리는 동일한 문서에서 haiku 또는 qwen 하에서는 재현되지 않는다 — 반면 더 높은 정확도의 코퍼스에서는 통합 임계값이 승리한다: 조건화는 통합 방법이 인증할 수 없는 바로 그 지점에서 도움이 되며, 다른 곳에서는 학습된 점수에 포섭된다. 선택에 노출되지 않은 claude-haiku-4-5에 대한 고정 구성 확인은 두 위험 수준 모두에서 유지되었고, 블라인드 3인 주석자 인간-골드 감사는 실용 계층의 수락 집합 위험을 10% 예산 대비 1.3%로 검증한다(플라이스 카파=0.83; 라벨은 일방적으로 비관적인 방향으로 오류를 범한다). 시드 고정 및 회귀 게이트 절차와 함께 Apache-2.0으로 출시되었다.

English

Per-field accept/review with selective risk at most alpha -- accept a field only if the error rate among accepted fields is controlled -- is the trust contract document-extraction systems need, and the natural procedure silently violates it on real documents. On 13,859 genuine claude-sonnet-5 fields from 800 CORD receipts (49.0% correct) we diagnose three failure modes: document clustering (design effect 1.84-2.45), score-refit leakage (coverage 0.416 at risk 0.127, violating alpha=0.10 in 95% of splits), and a tie-mass pathology (a degenerate score collapses the threshold grid, 0.030 to 0.001). We organize the fixes as a validity ladder, guarantee form stated per tier. A fit/val split protocol restores expected-selective-risk control for a learned fusion: coverage 0.318 at risk 0.096 at nominal alpha=0.10, no tolerance band (production variant 0.326) -- an on-average point whose realized risk exceeds alpha in 47.5% of resplits, not a certificate. Mondrian Learn-then-Test with exact binomial tails yields per-group PAC certificates: field-iid 0.171 at risk 0.068, cluster-corrected 0.140, doc-iid 0.060 -- the only tier matching documents, honestly near-vacuous today. Support-bin, the pre-specified provenance taxonomy, wins every rigor tier on the sonnet CORD capture (p<1e-4, Bonferroni-corrected) -- a win that does not replicate on the same documents under haiku or qwen -- while on higher-accuracy corpora pooled thresholds win: conditioning helps exactly where pooled cannot certify, subsumed by a learned score elsewhere. A frozen-configuration confirmation on selection-untouched claude-haiku-4-5 held at both risk levels, and a blind three-annotator human-gold audit verifies the practical tier's accepted-set risk at 1.3% against its 10% budget (Fleiss' kappa=0.83; labels err one-sidedly pessimistic). Released Apache-2.0 with seed-pinned, regression-gated procedures.