InfantAgent-Next : Un agent généraliste multimodal pour l'interaction automatisée avec les ordinateurs
InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction
May 16, 2025
papers.authors: Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding
cs.AI
papers.abstract
Cet article présente InfantAgent-Next, un agent généraliste capable d'interagir avec les ordinateurs de manière multimodale, englobant le texte, les images, l'audio et la vidéo. Contrairement aux approches existantes qui construisent soit des workflows complexes autour d'un seul grand modèle, soit ne fournissent qu'une modularité de workflow, notre agent intègre des agents basés sur des outils et des agents de vision pure au sein d'une architecture hautement modulaire, permettant à différents modèles de résoudre de manière collaborative des tâches découplées étape par étape. Notre généralité est démontrée par notre capacité à évaluer non seulement des benchmarks du monde réel basés uniquement sur la vision (c'est-à-dire OSWorld), mais aussi des benchmarks plus généraux ou intensifs en outils (par exemple, GAIA et SWE-Bench). Plus précisément, nous obtenons une précision de 7,27 % sur OSWorld, supérieure à celle de Claude-Computer-Use. Les codes et scripts d'évaluation sont open-source à l'adresse https://github.com/bin123apple/InfantAgent.
English
This paper introduces InfantAgent-Next, a generalist agent capable
of interacting with computers in a multimodal manner, encompassing text,
images, audio, and video. Unlike existing approaches that either build
intricate workflows around a single large model or only provide workflow
modularity, our agent integrates tool-based and pure vision agents within a
highly modular architecture, enabling different models to collaboratively solve
decoupled tasks in a step-by-step manner. Our generality is demonstrated by our
ability to evaluate not only pure vision-based real-world benchmarks (i.e.,
OSWorld), but also more general or tool-intensive benchmarks (e.g., GAIA and
SWE-Bench). Specifically, we achieve 7.27% accuracy on OSWorld,
higher than Claude-Computer-Use. Codes and evaluation scripts are open-sourced
at https://github.com/bin123apple/InfantAgent.