InfantAgent-Next: Un agente generalista multimodal para la interacción automatizada con computadoras

InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

May 16, 2025

Autores: Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

cs.AI

Resumen

Este artículo presenta InfantAgent-Next, un agente generalista capaz de interactuar con computadoras de manera multimodal, abarcando texto, imágenes, audio y video. A diferencia de los enfoques existentes que construyen flujos de trabajo complejos alrededor de un único modelo grande o que solo ofrecen modularidad en los flujos de trabajo, nuestro agente integra agentes basados en herramientas y agentes de visión pura dentro de una arquitectura altamente modular, permitiendo que diferentes modelos colaboren para resolver tareas desacopladas de manera paso a paso. Nuestra generalidad se demuestra por la capacidad de evaluar no solo puntos de referencia del mundo real basados únicamente en visión (es decir, OSWorld), sino también puntos de referencia más generales o intensivos en herramientas (por ejemplo, GAIA y SWE-Bench). Específicamente, logramos un 7.27% de precisión en OSWorld, superando a Claude-Computer-Use. Los códigos y scripts de evaluación están disponibles en código abierto en https://github.com/bin123apple/InfantAgent.

English

This paper introduces InfantAgent-Next, a generalist agent capable of interacting with computers in a multimodal manner, encompassing text, images, audio, and video. Unlike existing approaches that either build intricate workflows around a single large model or only provide workflow modularity, our agent integrates tool-based and pure vision agents within a highly modular architecture, enabling different models to collaboratively solve decoupled tasks in a step-by-step manner. Our generality is demonstrated by our ability to evaluate not only pure vision-based real-world benchmarks (i.e., OSWorld), but also more general or tool-intensive benchmarks (e.g., GAIA and SWE-Bench). Specifically, we achieve 7.27% accuracy on OSWorld, higher than Claude-Computer-Use. Codes and evaluation scripts are open-sourced at https://github.com/bin123apple/InfantAgent.