Ko-WideSearch : un benchmark coréen de recherche en largeur pour l'énumération exhaustive d'ensembles par des agents web

Résumé

Les benchmarks pour agents web mesurent presque exclusivement la profondeur – en allant chercher une réponse obscure derrière une chaîne de contraintes – tandis que la largeur, qui consiste à énumérer exhaustivement un ensemble fermé et à renseigner les attributs de chaque élément, est à peine évaluée, surtout en dehors de l’anglais. La largeur est également difficile à construire : certifier qu’un ensemble de référence est complet et que chaque cellule est correcte coûte bien plus cher que de vérifier une seule réponse. Je présente Ko-WideSearch, un benchmark de recherche par largeur en coréen, construit via un pipeline automatisé de synthèse et de vérification. Chaque tâche nomme une entité parente d’ensemble – une saison de série télévisée, une dynastie, une ligue, une région administrative, une élection – et demande la liste complète de ses membres ainsi qu’un tableau d’attributs par élément, évalué par les F1 sur les éléments (Item-F1), les colonnes (Column-F1) et les lignes (Row-F1). Il couvre 228 tableaux portant sur 190 entités et seize catégories, répartis en trois niveaux de difficulté, définis par deux paramètres structurels que je fais varier indépendamment – la largeur du tableau et une clé composite 2D – de sorte que le produit cartésien des membres passe de 0 % à 100 % d’un niveau à l’autre. Un unique comparateur normalisé est partagé entre la construction de la référence et la notation, ce qui évite que des colonnes de dates et de comptes stables soient trop souvent rejetées sur la seule base d’un problème de format. Sur vingt agents web, l’échec est constant : les agents retrouvent l’ensemble mais pas les lignes (par exemple, Item-F1 de 92,8 contre Row-F1 de 53,7), la précision diminue régulièrement à mesure que les paramètres se durcissent, et ni davantage de recherches ni de dépenses supplémentaires ne comblent l’écart. En décomposant par cellule, la difficulté réside dans la recherche de la bonne valeur, pas dans sa mise en forme : les cellules à texte libre non contraint échouent le plus souvent, tandis que les cellules dont la réponse est standardisée, comme une date ou un nom, sont généralement correctes.

English

Web-agent benchmarks overwhelmingly measure depth -- pinning one obscure answer behind a chain of constraints -- while breadth, exhaustively enumerating a closed set and filling each item's attributes, is barely evaluated, especially outside English. Breadth is also hard to build: certifying that a gold set is complete and every cell correct is far costlier than checking a single answer. I introduce Ko-WideSearch, a Korean breadth-search benchmark built by an automated synthesize-and-verify pipeline. Each task names a set-parent entity -- a TV season, a dynasty, a league, an administrative region, an election -- and asks for its full membership plus a per-item attribute table, graded by Item-, Column-, and Row-F1. It spans 228 tables over 190 entities and sixteen categories across three difficulty tiers, set by two structural knobs I dial independently -- table width and a 2-D composite key -- so cross-product membership climbs from 0\% to 100\% across the tiers. A single normalization-aware comparator is shared between gold construction and grading, so stable date and count columns are not over-dropped on formatting alone. Across twenty web agents, the failure is consistent: agents recover the set but not the rows (e.g.\ Item-F1 92.8 against Row-F1 53.7), accuracy falls steadily as the knobs harden, and neither more search nor more spend closes the gap. Broken down by cell, the hard part is finding the right value, not formatting it: open-ended free-text cells fail most, while cells with a standard answer such as a date or a name usually come out right.