OpenComputer: Верифицируемые программные миры для агентов, использующих компьютеры

Аннотация

Мы представляем OpenComputer — основанную на верификаторах структуру для создания проверяемых программных миров для агентов, использующих компьютеры. OpenComputer объединяет четыре компонента: (1) специфичные для приложений верификаторы состояний, предоставляющие структурированные конечные точки инспекции для реальных приложений; (2) саморазвивающийся уровень верификации, повышающий надежность верификаторов с помощью обратной связи, основанной на выполнении; (3) конвейер генерации задач, синтезирующий реалистичные и проверяемые машиной настольные задачи; (4) инструмент оценки, записывающий полные траектории и вычисляющий аудитируемые награды за частичное выполнение. В текущей версии OpenComputer охватывает 33 настольных приложения и 1000 завершенных задач, охватывающих браузеры, офисные инструменты, творческое ПО, среды разработки, файловые менеджеры и коммуникационные приложения. Эксперименты показывают, что жестко запрограммированные верификаторы OpenComputer лучше согласуются с человеческой оценкой, чем оценка с помощью LLM-судьи, особенно когда успех зависит от мелкозернистого состояния приложения. Передовые агенты испытывают трудности с полным выполнением задач, несмотря на частичный прогресс, а модели с открытым исходным кодом демонстрируют резкое снижение показателей по сравнению с их оценками OSWorld-Verified, что выявляет устойчивый разрыв в надежной компьютерной автоматизации.

English

We present OpenComputer, a verifier-grounded framework for constructing verifiable software worlds for computer-use agents. OpenComputer integrates four components: (1) app-specific state verifiers that expose structured inspection endpoints over real applications, (2) a self-evolving verification layer that improves verifier reliability using execution-grounded feedback, (3) a task-generation pipeline that synthesizes realistic and machine-checkable desktop tasks, and (4) an evaluation harness that records full trajectories and computes auditable partial-credit rewards. In its current form, OpenComputer covers 33 desktop applications and 1,000 finalized tasks spanning browsers, office tools, creative software, development environments, file managers, and communication applications. Experiments show that OpenComputer's hard-coded verifiers align more closely with human adjudication than LLM-as-judge evaluation, especially when success depends on fine-grained application state. Frontier agents struggle with end-to-end completion despite partial progress, and open-source models exhibit sharp drops from their OSWorld-Verified scores, exposing a persistent gap in robust computer automation.