Ko-WideSearch: 웹 에이전트의 완전 집합 열거를 위한 한국어 너비 탐색 벤치마크

초록

웹 에이전트 벤치마크는 압도적으로 깊이(depth)를 측정한다. 즉, 일련의 제약 조건 뒤에 숨겨진 모호한 답 하나를 찾아내는 방식이다. 반면, 폐쇄 집합을 빠짐없이 열거하고 각 항목의 속성을 채우는 폭(breadth)은 거의 평가되지 않으며, 특히 영어 외의 언어에서는 더욱 그렇다. 폭을 구축하는 것도 어렵다. 즉, 골드 집합이 완전하고 모든 셀이 정확함을 인증하는 것은 단일 답을 확인하는 것보다 훨씬 비용이 많이 든다. 본 논문에서는 자동화된 합성-검증(synthesize-and-verify) 파이프라인으로 구축된 한국어 폭 검색 벤치마크인 Ko-WideSearch를 소개한다. 각 과제는 집합-부모 엔터티(set-parent entity), 즉 TV 시즌, 왕조, 리그, 행정 구역, 선거 등을 지칭하며, 해당 엔터티의 전체 구성원과 항목별 속성 표를 요구하며, 항목 정밀도(Item-F1), 열 정밀도(Column-F1), 행 정밀도(Row-F1)로 평가된다. 이 벤치마크는 세 가지 난이도 계층에 걸쳐 190개 엔터티, 16개 범주, 228개 표로 구성되며, 난이도는 두 가지 구조적 조절자, 즉 표 너비와 2차원 복합 키(composite key)를 독립적으로 조절하여 설정된다. 이에 따라 교차 곱(cross-product) 구성원 비율은 하위 계층에서 상위 계층으로 갈수록 0%에서 100%까지 증가한다. 골드 구축과 평가에는 단일 정규화 인식 비교기(normalization-aware comparator)가 공유되어, 안정적인 날짜 및 개수 열이 형식 차이만으로 과도하게 탈락되지 않도록 한다. 스무 개의 웹 에이전트에 대한 실험 결과, 일관된 실패 패턴이 관찰되었다. 에이전트는 집합 자체는 복구하지만 행(Row)은 복구하지 못했으며(예: 항목 정밀도 92.8 대비 행 정밀도 53.7), 조절자가 강화됨에 따라 정확도가 꾸준히 감소했고, 검색 횟수나 비용 증가로도 그 격차를 줄일 수 없었다. 셀 단위로 분석하면, 어려운 부분은 올바른 값을 찾는 것이지 형식화하는 것이 아니다. 자유형 텍스트 셀(open-ended free-text cell)이 가장 많이 실패한 반면, 날짜나 이름과 같은 표준 답이 존재하는 셀은 대개 올바르게 추출되었다.

English

Web-agent benchmarks overwhelmingly measure depth -- pinning one obscure answer behind a chain of constraints -- while breadth, exhaustively enumerating a closed set and filling each item's attributes, is barely evaluated, especially outside English. Breadth is also hard to build: certifying that a gold set is complete and every cell correct is far costlier than checking a single answer. I introduce Ko-WideSearch, a Korean breadth-search benchmark built by an automated synthesize-and-verify pipeline. Each task names a set-parent entity -- a TV season, a dynasty, a league, an administrative region, an election -- and asks for its full membership plus a per-item attribute table, graded by Item-, Column-, and Row-F1. It spans 228 tables over 190 entities and sixteen categories across three difficulty tiers, set by two structural knobs I dial independently -- table width and a 2-D composite key -- so cross-product membership climbs from 0\% to 100\% across the tiers. A single normalization-aware comparator is shared between gold construction and grading, so stable date and count columns are not over-dropped on formatting alone. Across twenty web agents, the failure is consistent: agents recover the set but not the rows (e.g.\ Item-F1 92.8 against Row-F1 53.7), accuracy falls steadily as the knobs harden, and neither more search nor more spend closes the gap. Broken down by cell, the hard part is finding the right value, not formatting it: open-ended free-text cells fail most, while cells with a standard answer such as a date or a name usually come out right.