FORT-Searcher: Synthetiseren van shortcut-bestendige zoektaken voor het trainen van diepe zoekagenten

Samenvatting

Het trainen van diepe zoekagenten vereist verifieerbare vragen waarvan de antwoorden pas beschikbaar komen nadat voldoende bewijs is verkregen door te zoeken. Bestaande synthesemethoden verhogen vaak de schijnbare moeilijkheid door grafstructuren te verrijken, maar structurele complexiteit alleen garandeert geen gerealiseerde zoekmoeilijkheid: het beoogde zoekproces kan instorten via een goedkopere identificatieroute. We formaliseren deze kloof met een shortcut-bewust moeilijkheidskader en identificeren vier uitvoerbare shortcutrisico's: bewijsco-dekking, single-clue selectiviteit, blootgestelde constanten en prior-kennis binding. Om hun gerealiseerde effecten te diagnosticeren, gebruiken we trajectoriemerktekens, waaronder oplossingskosten, antwoordvindtijd en prior-shortcutpercentage. Geleid door dit kader introduceren we FORT, een Framework van Shortcut-bestendige Training-Data Synthese. FORT construeert shortcut-bestendige trainingsdata door shortcutrisico's te beheersen bij entiteitsselectie, bewijsgrafconstructie, vraagformulering en adversariële verfijning. Experimenten tonen aan dat FORT langere zoektochten vóór het antwoord en minder shortcutpatronen induceert dan bestaande open-source diepe zoekdatasets. Met behulp van de resulterende trajecten trainen we FORT-Searcher met alleen begeleide fijnafstelling (SFT), en het behaalt de beste algemene prestaties onder open-source zoekagenten van vergelijkbare grootte op uitdagende deep search-benchmarks. Relevante bronnen zullen beschikbaar worden gesteld op https://github.com/RUCAIBox/FORT-Searcher.

English

Training deep search agents requires verifiable questions whose answers remain unavailable until sufficient evidence has been acquired through search. Existing synthesis methods often increase apparent difficulty by enriching graph structures, but structural complexity alone does not guarantee realized search difficulty: the intended search process can collapse through a cheaper identifying route. We formalize this gap with a shortcut-aware difficulty framework and identify four actionable shortcut risks: evidence co-coverage, single-clue selectivity, exposed constants, and prior-knowledge binding. To diagnose their realized effects, we use trajectory signatures including solving cost, answer hit time, and prior-shortcut rate. Guided by this framework, we introduce FORT, a Framework of Shortcut-Resistant Training-Data Synthesis. FORT constructs shortcut-resistant training data by controlling shortcut risks across entity selection, evidence graph construction, question formulation, and adversarial refinement. Experiments show that FORT induces longer pre-answer search and fewer shortcut patterns than existing open-source deep search datasets. Using the resulting trajectories, we train FORT-Searcher with supervised fine-tuning (SFT) only, and it achieves the best overall performance among comparable-size open-source search agents on challenging deep search benchmarks. Relevant resources will be made available at https://github.com/RUCAIBox/FORT-Searcher.