Ko-WideSearch: Ein koreanischer Breitensuch-Benchmark zur erschöpfenden Mengenaufzählung durch Web-Agenten

Zusammenfassung

Webagenten-Benchmarks messen überwiegend Tiefe – das Auffinden einer obskuren Antwort hinter einer Kette von Beschränkungen – während Breite, also die erschöpfende Aufzählung einer abgeschlossenen Menge und die Befüllung der Attribute jedes Elements, kaum bewertet wird, insbesondere außerhalb des Englischen. Breite ist auch schwer zu erstellen: Die Zertifizierung, dass ein Goldset vollständig und jede Zelle korrekt ist, ist weitaus aufwendiger als die Überprüfung einer einzelnen Antwort. Ich stelle Ko-WideSearch vor, einen koreanischen Breitensuche-Benchmark, der durch eine automatisierte Synthese-und-Verifikations-Pipeline erstellt wurde. Jede Aufgabe benennt eine Mengen-Eltern-Entität – eine TV-Staffel, eine Dynastie, eine Liga, eine Verwaltungsregion, eine Wahl – und fordert deren vollständige Mitgliedschaft sowie eine Attributtabelle pro Element, bewertet nach Item-, Spalten- und Zeilen-F1. Der Benchmark umfasst 228 Tabellen über 190 Entitäten und sechzehn Kategorien in drei Schwierigkeitsstufen, die durch zwei strukturelle Stellschrauben festgelegt werden, die ich unabhängig voneinander einstelle – Tabellenbreite und einen 2-D zusammengesetzten Schlüssel – sodass die Kreuzproduktzugehörigkeit über die Stufen hinweg von 0 % auf 100 % ansteigt. Ein einzelner normalisierungsbewusster Vergleicher wird sowohl für die Goldstandard-Erstellung als auch für die Bewertung verwendet, sodass stabile Datums- und Zählenspalten nicht allein aufgrund der Formatierung verworfen werden. Bei zwanzig Webagenten ist das Versagen konsistent: Die Agenten stellen die Menge wieder her, aber nicht die Zeilen (z. B. Item-F1 92,8 gegenüber Zeilen-F1 53,7), die Genauigkeit fällt mit zunehmender Härte der Stellschrauben stetig, und weder mehr Suche noch höhere Ausgaben schließen die Lücke. Aufgeschlüsselt nach Zellen liegt die Schwierigkeit im Finden des richtigen Werts, nicht in der Formatierung: Offene Freitextzellen versagen am häufigsten, während Zellen mit einer Standardantwort wie einem Datum oder einem Namen in der Regel korrekt sind.

English

Web-agent benchmarks overwhelmingly measure depth -- pinning one obscure answer behind a chain of constraints -- while breadth, exhaustively enumerating a closed set and filling each item's attributes, is barely evaluated, especially outside English. Breadth is also hard to build: certifying that a gold set is complete and every cell correct is far costlier than checking a single answer. I introduce Ko-WideSearch, a Korean breadth-search benchmark built by an automated synthesize-and-verify pipeline. Each task names a set-parent entity -- a TV season, a dynasty, a league, an administrative region, an election -- and asks for its full membership plus a per-item attribute table, graded by Item-, Column-, and Row-F1. It spans 228 tables over 190 entities and sixteen categories across three difficulty tiers, set by two structural knobs I dial independently -- table width and a 2-D composite key -- so cross-product membership climbs from 0\% to 100\% across the tiers. A single normalization-aware comparator is shared between gold construction and grading, so stable date and count columns are not over-dropped on formatting alone. Across twenty web agents, the failure is consistent: agents recover the set but not the rows (e.g.\ Item-F1 92.8 against Row-F1 53.7), accuracy falls steadily as the knobs harden, and neither more search nor more spend closes the gap. Broken down by cell, the hard part is finding the right value, not formatting it: open-ended free-text cells fail most, while cells with a standard answer such as a date or a name usually come out right.