InfantAgent-Next: Um Agente Generalista Multimodal para Interação Automatizada com Computadores

InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

May 16, 2025

Autores: Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

cs.AI

Resumo

Este artigo apresenta o InfantAgent-Next, um agente generalista capaz de interagir com computadores de forma multimodal, abrangendo texto, imagens, áudio e vídeo. Diferentemente das abordagens existentes que ou constroem fluxos de trabalho intrincados em torno de um único modelo grande ou oferecem apenas modularidade de fluxo de trabalho, nosso agente integra agentes baseados em ferramentas e agentes de visão pura em uma arquitetura altamente modular, permitindo que diferentes modelos colaborem para resolver tarefas desacopladas de maneira passo a passo. Nossa generalidade é demonstrada pela capacidade de avaliar não apenas benchmarks do mundo real baseados em visão pura (ou seja, OSWorld), mas também benchmarks mais gerais ou intensivos em ferramentas (por exemplo, GAIA e SWE-Bench). Especificamente, alcançamos 7,27% de precisão no OSWorld, superior ao Claude-Computer-Use. Os códigos e scripts de avaliação são disponibilizados em código aberto em https://github.com/bin123apple/InfantAgent.

English

This paper introduces InfantAgent-Next, a generalist agent capable of interacting with computers in a multimodal manner, encompassing text, images, audio, and video. Unlike existing approaches that either build intricate workflows around a single large model or only provide workflow modularity, our agent integrates tool-based and pure vision agents within a highly modular architecture, enabling different models to collaboratively solve decoupled tasks in a step-by-step manner. Our generality is demonstrated by our ability to evaluate not only pure vision-based real-world benchmarks (i.e., OSWorld), but also more general or tool-intensive benchmarks (e.g., GAIA and SWE-Bench). Specifically, we achieve 7.27% accuracy on OSWorld, higher than Claude-Computer-Use. Codes and evaluation scripts are open-sourced at https://github.com/bin123apple/InfantAgent.