STEVE: Um Pipeline de Verificação em Duas Etapas para o Treinamento de Agentes de Uso Computacional

STEVE: AStep Verification Pipeline for Computer-use Agent Training

March 16, 2025

Autores: Fanbin Lu, Zhisheng Zhong, Ziqin Wei, Shu Liu, Chi-Wing Fu, Jiaya Jia

cs.AI

Resumo

O desenvolvimento de agentes de IA para manipular autonomamente interfaces gráficas de usuário é uma tarefa desafiadora e de longa duração. Avanços recentes na lei de escalabilidade de dados nos inspiram a treinar agentes de uso de computador com um conjunto de instruções em escala, mas o uso de clonagem de comportamento para treinar agentes ainda requer uma quantidade imensa de trajetórias de alta qualidade. Para atender à necessidade de escalabilidade, projetamos o STEVE, um pipeline de verificação de etapas para o treinamento de agentes de uso de computador. Primeiro, estabelecemos um grande conjunto de instruções para agentes de uso de computador e coletamos dados de trajetória com alguns agentes subótimos. O GPT-4o é usado para verificar a correção de cada etapa nas trajetórias com base nas telas antes e após a execução da ação, atribuindo a cada etapa um rótulo binário. Por fim, adotamos a Otimização de Kahneman e Tversky para otimizar o agente a partir dos rótulos binários por etapa. Experimentos extensivos demonstram que nosso agente supera o ajuste fino supervisionado ao aproveitar tanto ações positivas quanto negativas dentro de uma trajetória. Além disso, o STEVE nos permite treinar um modelo de visão e linguagem de 7B como um agente de uso de computador, alcançando desempenho líder no desafiador ambiente de desktop ao vivo WinAgentArena com grande eficiência e custo reduzido. Código e dados: https://github.com/FanbinLu/STEVE.

English

Developing AI agents to autonomously manipulate graphical user interfaces is a long challenging task. Recent advances in data scaling law inspire us to train computer-use agents with a scaled instruction set, yet using behavior cloning to train agents still requires immense high-quality trajectories. To meet the scalability need, we designed STEVE, a step verification pipeline for computer-use agent training. First, we establish a large instruction set for computer-use agents and collect trajectory data with some suboptimal agents. GPT-4o is used to verify the correctness of each step in the trajectories based on the screens before and after the action execution, assigning each step with a binary label. Last, we adopt the Kahneman and Tversky Optimization to optimize the agent from the binary stepwise labels. Extensive experiments manifest that our agent outperforms supervised finetuning by leveraging both positive and negative actions within a trajectory. Also, STEVE enables us to train a 7B vision-language model as a computer-use agent, achieving leading performance in the challenging live desktop environment WinAgentArena with great efficiency at a reduced cost. Code and data: https://github.com/FanbinLu/STEVE.