De onredelijke effectiviteit van schaalbaarheid bij agentsystemen voor computergebruik

The Unreasonable Effectiveness of Scaling Agents for Computer Use

October 2, 2025

Auteurs: Gonzalo Gonzalez-Pumariega, Vincent Tu, Chih-Lun Lee, Jiachen Yang, Ang Li, Xin Eric Wang

cs.AI

Samenvatting

Computer-use agents (CUAs) bieden potentieel voor het automatiseren van alledaagse digitale taken, maar hun onbetrouwbaarheid en hoge variabiliteit belemmeren hun toepassing op langetermijn, complexe taken. We introduceren Behavior Best-of-N (bBoN), een methode die schaalt over agents door meerdere rollouts te genereren en daartussen te selecteren met behulp van gedragsnarratieven die de rollouts van de agents beschrijven. Het maakt zowel brede exploratie als principiële trajectselectie mogelijk, wat de robuustheid en slagingspercentages aanzienlijk verbetert. Op OSWorld vestigt onze bBoN-schalingmethode een nieuwe state of the art (SoTA) op 69,9%, wat aanzienlijk beter presteert dan eerdere methoden en het menselijk prestatieniveau van 72% benadert, met uitgebreide ablatiestudies die de belangrijkste ontwerpkeuzes valideren. We demonstreren verder sterke generalisatieresultaten naar verschillende besturingssystemen op WindowsAgentArena en AndroidWorld. Cruciaal is dat onze resultaten de onredelijke effectiviteit van het schalen van CUAs benadrukken, wanneer het goed wordt gedaan: effectief schalen vereist gestructureerd trajectbegrip en -selectie, en bBoN biedt een praktisch kader om dit te bereiken.

English

Computer-use agents (CUAs) hold promise for automating everyday digital tasks, but their unreliability and high variance hinder their application to long-horizon, complex tasks. We introduce Behavior Best-of-N (bBoN), a method that scales over agents by generating multiple rollouts and selecting among them using behavior narratives that describe the agents' rollouts. It enables both wide exploration and principled trajectory selection, substantially improving robustness and success rates. On OSWorld, our bBoN scaling method establishes a new state of the art (SoTA) at 69.9%, significantly outperforming prior methods and approaching human-level performance at 72%, with comprehensive ablations validating key design choices. We further demonstrate strong generalization results to different operating systems on WindowsAgentArena and AndroidWorld. Crucially, our results highlight the unreasonable effectiveness of scaling CUAs, when you do it right: effective scaling requires structured trajectory understanding and selection, and bBoN provides a practical framework to achieve this.