Серфер 2: Следующее поколение кроссплатформенных агентов компьютерного взаимодействия

Surfer 2: The Next Generation of Cross-Platform Computer Use Agents

October 22, 2025

Авторы: Mathieu Andreux, Märt Bakler, Yanael Barbier, Hamza Benchekroun, Emilien Biré, Antoine Bonnet, Riaz Bordie, Nathan Bout, Matthias Brunel, Aleix Cambray, Pierre-Louis Cedoz, Antoine Chassang, Gautier Cloix, Ethan Connelly, Alexandra Constantinou, Ramzi De Coster, Hubert de la Jonquiere, Aurélien Delfosse, Maxime Delpit, Alexis Deprez, Augustin Derupti, Mathieu Diaz, Shannon D'Souza, Julie Dujardin, Abai Edmund, Michael Eickenberg, Armand Fatalot, Wissem Felissi, Isaac Herring, Xavier Koegler, Erwan Le Jumeau de Kergaradec, Aurélien Lac, Maxime Langevin, Corentin Lauverjat, Antonio Loison, Avshalom Manevich, Axel Moyal, Axel Nguyen Kerbel, Marinela Parovic, Julien Revelle, Guillaume Richard, Mats Richter, Ronan Riochet, María Santos, Romain Savidan, Laurent Sifre, Maxime Theillard, Marc Thibault, Ivan Valentini, Tony Wu, Laura Yie, Kai Yuan, Jevgenij Zubovskij

cs.AI

Аннотация

Создание агентов, способных к обобщению в веб-, десктопных и мобильных средах, остается нерешенной задачей, поскольку существующие системы полагаются на специфичные для среды интерфейсы, ограничивающие кроссплатформенное развертывание. Мы представляем Surfer 2 — унифицированную архитектуру, работающую исключительно на основе визуальных наблюдений и демонстрирующую наилучшую производительность во всех трех средах. Surfer 2 интегрирует иерархическое управление контекстом, раздельное планирование и выполнение, а также самопроверку с адаптивным восстановлением, что обеспечивает надежную работу в рамках длительных задач. Наша система достигает точности 97,1% на WebVoyager, 69,6% на WebArena, 60,1% на OSWorld и 87,1% на AndroidWorld, превосходя все предыдущие системы без специфичной для задач тонкой настройки. При многократных попытках Surfer 2 превосходит человеческие показатели на всех тестовых наборах. Эти результаты демонстрируют, что системная оркестрация усиливает возможности базовых моделей и позволяет осуществлять универсальное управление компьютером исключительно через визуальное взаимодействие, одновременно указывая на необходимость создания моделей следующего поколения для достижения парето-оптимального баланса затрат и эффективности.

English

Building agents that generalize across web, desktop, and mobile environments remains an open challenge, as prior systems rely on environment-specific interfaces that limit cross-platform deployment. We introduce Surfer 2, a unified architecture operating purely from visual observations that achieves state-of-the-art performance across all three environments. Surfer 2 integrates hierarchical context management, decoupled planning and execution, and self-verification with adaptive recovery, enabling reliable operation over long task horizons. Our system achieves 97.1% accuracy on WebVoyager, 69.6% on WebArena, 60.1% on OSWorld, and 87.1% on AndroidWorld, outperforming all prior systems without task-specific fine-tuning. With multiple attempts, Surfer 2 exceeds human performance on all benchmarks. These results demonstrate that systematic orchestration amplifies foundation model capabilities and enables general-purpose computer control through visual interaction alone, while calling for a next-generation vision language model to achieve Pareto-optimal cost-efficiency.