STEVE: Una Pipeline di Verifica a Fasi per l'Addestramento di Agenti per l'Uso del Computer
STEVE: AStep Verification Pipeline for Computer-use Agent Training
March 16, 2025
Autori: Fanbin Lu, Zhisheng Zhong, Ziqin Wei, Shu Liu, Chi-Wing Fu, Jiaya Jia
cs.AI
Abstract
Lo sviluppo di agenti di intelligenza artificiale in grado di manipolare autonomamente interfacce grafiche rappresenta un compito complesso e di lungo termine. I recenti progressi nella legge di scala dei dati ci ispirano ad addestrare agenti per l'uso del computer con un set di istruzioni scalato, tuttavia l'utilizzo del clonaggio comportamentale per l'addestramento degli agenti richiede ancora un'enorme quantità di traiettorie di alta qualità. Per soddisfare l'esigenza di scalabilità, abbiamo progettato STEVE, una pipeline di verifica passo-passo per l'addestramento di agenti per l'uso del computer. In primo luogo, abbiamo stabilito un ampio set di istruzioni per agenti di uso del computer e raccolto dati di traiettoria con alcuni agenti subottimali. GPT-4o viene utilizzato per verificare la correttezza di ogni passo nelle traiettorie basandosi sugli schermi prima e dopo l'esecuzione dell'azione, assegnando a ogni passo un'etichetta binaria. Infine, adottiamo l'ottimizzazione di Kahneman e Tversky per ottimizzare l'agente a partire dalle etichette binarie passo-passo. Esperimenti estesi dimostrano che il nostro agente supera il fine-tuning supervisionato sfruttando sia le azioni positive che quelle negative all'interno di una traiettoria. Inoltre, STEVE ci consente di addestrare un modello visione-linguaggio da 7B come agente per l'uso del computer, raggiungendo prestazioni leader nel complesso ambiente desktop live WinAgentArena con grande efficienza e a costi ridotti. Codice e dati: https://github.com/FanbinLu/STEVE.
English
Developing AI agents to autonomously manipulate graphical user interfaces is
a long challenging task. Recent advances in data scaling law inspire us to
train computer-use agents with a scaled instruction set, yet using behavior
cloning to train agents still requires immense high-quality trajectories. To
meet the scalability need, we designed STEVE, a step verification pipeline for
computer-use agent training. First, we establish a large instruction set for
computer-use agents and collect trajectory data with some suboptimal agents.
GPT-4o is used to verify the correctness of each step in the trajectories based
on the screens before and after the action execution, assigning each step with
a binary label. Last, we adopt the Kahneman and Tversky Optimization to
optimize the agent from the binary stepwise labels. Extensive experiments
manifest that our agent outperforms supervised finetuning by leveraging both
positive and negative actions within a trajectory. Also, STEVE enables us to
train a 7B vision-language model as a computer-use agent, achieving leading
performance in the challenging live desktop environment WinAgentArena with
great efficiency at a reduced cost. Code and data:
https://github.com/FanbinLu/STEVE.