Ko-WideSearch: Um Benchmark Coreano de Busca em Largura para Enumeração Exaustiva de Conjuntos por Agentes Web

Resumo

Os benchmarks para agentes web medem, de forma esmagadora, a profundidade — fixando uma resposta obscura atrás de uma cadeia de restrições —, enquanto a amplitude, que consiste em enumerar exaustivamente um conjunto fechado e preencher os atributos de cada item, é raramente avaliada, especialmente fora do inglês. A amplitude também é difícil de construir: certificar que um conjunto ouro é completo e que cada célula está correta é muito mais custoso do que verificar uma única resposta. Apresento Ko-WideSearch, um benchmark de busca por amplitude em coreano, construído por um pipeline automatizado de síntese e verificação. Cada tarefa nomeia uma entidade pai de conjunto — uma temporada de TV, uma dinastia, uma liga, uma região administrativa, uma eleição — e solicita sua filiação completa mais uma tabela de atributos por item, avaliada por Item-F1, Coluna-F1 e Linha-F1. Abrange 228 tabelas em 190 entidades e dezesseis categorias em três níveis de dificuldade, definidos por dois botões estruturais que manipulo independentemente — largura da tabela e uma chave composta 2-D —, de modo que a pertinência ao produto cartesiano aumenta de 0% a 100% entre os níveis. Um único comparador ciente de normalização é compartilhado entre a construção do ouro e a avaliação, garantindo que colunas estáveis de data e contagem não sejam descartadas indevidamente apenas devido à formatação. Em vinte agentes web, a falha é consistente: os agentes recuperam o conjunto, mas não as linhas (por exemplo, Item-F1 92,8 contra Linha-F1 53,7), a precisão cai constantemente à medida que os botões se endurecem, e nem mais busca nem mais gasto fecham a lacuna. Detalhando por célula, a parte difícil é encontrar o valor correto, não formatá-lo: células de texto livre abertas falham mais, enquanto células com uma resposta padrão, como uma data ou um nome, geralmente saem corretas.

English

Web-agent benchmarks overwhelmingly measure depth -- pinning one obscure answer behind a chain of constraints -- while breadth, exhaustively enumerating a closed set and filling each item's attributes, is barely evaluated, especially outside English. Breadth is also hard to build: certifying that a gold set is complete and every cell correct is far costlier than checking a single answer. I introduce Ko-WideSearch, a Korean breadth-search benchmark built by an automated synthesize-and-verify pipeline. Each task names a set-parent entity -- a TV season, a dynasty, a league, an administrative region, an election -- and asks for its full membership plus a per-item attribute table, graded by Item-, Column-, and Row-F1. It spans 228 tables over 190 entities and sixteen categories across three difficulty tiers, set by two structural knobs I dial independently -- table width and a 2-D composite key -- so cross-product membership climbs from 0\% to 100\% across the tiers. A single normalization-aware comparator is shared between gold construction and grading, so stable date and count columns are not over-dropped on formatting alone. Across twenty web agents, the failure is consistent: agents recover the set but not the rows (e.g.\ Item-F1 92.8 against Row-F1 53.7), accuracy falls steadily as the knobs harden, and neither more search nor more spend closes the gap. Broken down by cell, the hard part is finding the right value, not formatting it: open-ended free-text cells fail most, while cells with a standard answer such as a date or a name usually come out right.