Ko-WideSearch: Un benchmark coreano de búsqueda en anchura para la enumeración exhaustiva de conjuntos mediante agentes web

Resumen

Los benchmarks para agentes web miden abrumadoramente la profundidad (localizar una respuesta oscura tras una cadena de restricciones), mientras que la amplitud (enumerar exhaustivamente un conjunto cerrado y completar los atributos de cada elemento) apenas se evalúa, especialmente fuera del inglés. La amplitud también es difícil de construir: certificar que un conjunto de referencia es completo y que cada celda es correcta resulta mucho más costoso que verificar una única respuesta. Presento Ko-WideSearch, un benchmark de búsqueda por amplitud en coreano construido mediante un pipeline automatizado de síntesis y verificación. Cada tarea nombra una entidad contenedora de un conjunto (una temporada de TV, una dinastía, una liga, una región administrativa, una elección) y solicita su membresía completa más una tabla de atributos por elemento, evaluada mediante Item-F1, Column-F1 y Row-F1. Abarca 228 tablas distribuidas en 190 entidades y dieciséis categorías en tres niveles de dificultad, determinados por dos parámetros estructurales que ajusto de forma independiente: el ancho de la tabla y una clave compuesta 2D, de modo que la membresía del producto cruzado aumenta del 0% al 100% a través de los niveles. Un único comparador sensible a la normalización se comparte entre la construcción del conjunto de referencia y la evaluación, evitando así que las columnas estables de fechas y conteos se descarten solo por diferencias de formato. En veinte agentes web, el fallo es consistente: los agentes recuperan el conjunto pero no las filas (p. ej., Item-F1 92.8 frente a Row-F1 53.7), la precisión disminuye de manera constante a medida que los parámetros se endurecen, y ni más búsqueda ni mayor gasto logran cerrar la brecha. Desglosado por celdas, la parte difícil es encontrar el valor correcto, no formatearlo: las celdas de texto libre abierto fallan más, mientras que las celdas con una respuesta estándar, como una fecha o un nombre, suelen ser correctas.

English

Web-agent benchmarks overwhelmingly measure depth -- pinning one obscure answer behind a chain of constraints -- while breadth, exhaustively enumerating a closed set and filling each item's attributes, is barely evaluated, especially outside English. Breadth is also hard to build: certifying that a gold set is complete and every cell correct is far costlier than checking a single answer. I introduce Ko-WideSearch, a Korean breadth-search benchmark built by an automated synthesize-and-verify pipeline. Each task names a set-parent entity -- a TV season, a dynasty, a league, an administrative region, an election -- and asks for its full membership plus a per-item attribute table, graded by Item-, Column-, and Row-F1. It spans 228 tables over 190 entities and sixteen categories across three difficulty tiers, set by two structural knobs I dial independently -- table width and a 2-D composite key -- so cross-product membership climbs from 0\% to 100\% across the tiers. A single normalization-aware comparator is shared between gold construction and grading, so stable date and count columns are not over-dropped on formatting alone. Across twenty web agents, the failure is consistent: agents recover the set but not the rows (e.g.\ Item-F1 92.8 against Row-F1 53.7), accuracy falls steadily as the knobs harden, and neither more search nor more spend closes the gap. Broken down by cell, the hard part is finding the right value, not formatting it: open-ended free-text cells fail most, while cells with a standard answer such as a date or a name usually come out right.