STEVE: Een Stapsgewijs Verificatiepijplijn voor de Training van Computergebruik-Agenten
STEVE: AStep Verification Pipeline for Computer-use Agent Training
March 16, 2025
Auteurs: Fanbin Lu, Zhisheng Zhong, Ziqin Wei, Shu Liu, Chi-Wing Fu, Jiaya Jia
cs.AI
Samenvatting
Het ontwikkelen van AI-agents die grafische gebruikersinterfaces autonoom kunnen manipuleren, is een langdurige en uitdagende taak. Recente vooruitgang in de schaalwetten van data inspireert ons om computergebruik-agents te trainen met een geschaalde instructieset, maar het gebruik van gedragsklonen om agents te trainen vereist nog steeds een enorme hoeveelheid hoogwaardige trajecten. Om aan de schaalbaarheidsbehoefte te voldoen, hebben we STEVE ontworpen, een stapverificatiepijplijn voor het trainen van computergebruik-agents. Eerst stellen we een grote instructieset op voor computergebruik-agents en verzamelen we trajectgegevens met enkele suboptimale agents. GPT-4o wordt gebruikt om de correctheid van elke stap in de trajecten te verifiëren op basis van de schermen voor en na de uitvoering van de actie, waarbij elke stap wordt voorzien van een binaire label. Ten slotte passen we de Kahneman en Tversky Optimalisatie toe om de agent te optimaliseren vanuit de binaire stapsgewijze labels. Uitgebreide experimenten tonen aan dat onze agent supervised finetuning overtreft door zowel positieve als negatieve acties binnen een traject te benutten. Bovendien stelt STEVE ons in staat om een 7B vision-language model te trainen als een computergebruik-agent, wat leidende prestaties oplevert in de uitdagende live desktopomgeving WinAgentArena met grote efficiëntie tegen lagere kosten. Code en data: https://github.com/FanbinLu/STEVE.
English
Developing AI agents to autonomously manipulate graphical user interfaces is
a long challenging task. Recent advances in data scaling law inspire us to
train computer-use agents with a scaled instruction set, yet using behavior
cloning to train agents still requires immense high-quality trajectories. To
meet the scalability need, we designed STEVE, a step verification pipeline for
computer-use agent training. First, we establish a large instruction set for
computer-use agents and collect trajectory data with some suboptimal agents.
GPT-4o is used to verify the correctness of each step in the trajectories based
on the screens before and after the action execution, assigning each step with
a binary label. Last, we adopt the Kahneman and Tversky Optimization to
optimize the agent from the binary stepwise labels. Extensive experiments
manifest that our agent outperforms supervised finetuning by leveraging both
positive and negative actions within a trajectory. Also, STEVE enables us to
train a 7B vision-language model as a computer-use agent, achieving leading
performance in the challenging live desktop environment WinAgentArena with
great efficiency at a reduced cost. Code and data:
https://github.com/FanbinLu/STEVE.