LUMOS: Семантический уровень операционной системы для агентов ИИ, основанных на доступности

Аннотация

Современные операционные системы предоставляют интерфейсы, оптимизированные для пользователей-людей, но не для агентов ИИ. Люди извлекают пользу из пикселей, значков, окон, визуальной группировки, движений мыши и сочетаний клавиш; агентам ИИ, напротив, требуются компактное семантическое состояние, обоснованные действия и надёжная обратная связь. В результате многие агенты, работающие с компьютером, вынуждены интерпретировать скриншоты, результаты OCR и визуальные выделения, что приводит к высоким затратам токенов, визуальной неоднозначности, задержкам и неопределённости координат. В этой статье представлен LUMOS (Language Model Unified Machine-Readable Operating-System Semantics — семантика операционной системы, читаемая машиной и унифицированная для языковой модели) — семантический слой взаимодействия между агентами ИИ и операционными системами. LUMOS преобразует нативные метаданные доступности и структуры пользовательского интерфейса браузеров в машиночитаемые семантические схемы со стабильными идентификаторами, ролями, именами, значениями, границами и возможностями действий. Он также поддерживает динамическую привязку семантического указателя путём запроса элемента интерфейса под курсором или рядом с ним через API автоматизации операционной системы. Затем большая языковая модель действует в рамках цикла наблюдения и действий, основанного на доступности, используя ограниченные видимые примитивы интерфейса, а не специфичные для приложений скрипты. LUMOS не претендует на замену визуальных агентов; вместо этого он уменьшает зависимость от скриншотов в тех случаях, когда операционные системы уже предоставляют семантическую структуру. Эти результаты указывают на путь к созданию операционных систем, ориентированных на ИИ, и машиночитаемых слоёв взаимодействия.

English

Current operating systems expose interfaces optimized for human users but not for AI agents. Humans benefit from pixels, icons, windows, visual grouping, mouse movement, and keyboard shortcuts; AI agents instead need compact semantic state, grounded actions, and reliable feedback. As a result, many computer-use agents are forced to interpret screenshots, OCR output, and visual crops, introducing high token costs, visual ambiguity, latency, and coordinate uncertainty. This paper introduces LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), a semantic interaction layer between AI agents and operating systems. LUMOS converts native accessibility metadata and browser UI structures into machine readable semantic blueprints with stable identifiers, roles, names, values, bounds, and action affordances. It also supports live semantic pointer grounding by querying the UI element under or near the cursor through operating-system automation APIs. An LLM then acts through an accessibility grounded observe act loop using constrained visible-UI primitives rather than application-specific scripts. LUMOS does not claim to replace visual agents; instead, it reduces dependence on screenshots when operating systems already provide semantic structure. These results suggest a path toward AI-native operating systems and machine-readable interaction layers.