LUMOS: Uma Camada de Sistema Operacional Semântico para Agentes de IA Fundamentados em Acessibilidade

Resumo

Os sistemas operacionais atuais expõem interfaces otimizadas para usuários humanos, mas não para agentes de IA. Humanos se beneficiam de pixels, ícones, janelas, agrupamento visual, movimento do mouse e atalhos de teclado; agentes de IA, por sua vez, necessitam de estado semântico compacto, ações ancoradas e feedback confiável. Como resultado, muitos agentes de uso de computador são forçados a interpretar capturas de tela, saída de OCR e recortes visuais, introduzindo altos custos de token, ambiguidade visual, latência e incerteza de coordenadas. Este artigo apresenta o LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), uma camada de interação semântica entre agentes de IA e sistemas operacionais. O LUMOS converte metadados nativos de acessibilidade e estruturas de IU de navegadores em planos semânticos legíveis por máquina, com identificadores estáveis, funções, nomes, valores, limites e affordances de ação. Ele também suporta ancoragem semântica do ponteiro em tempo real, consultando o elemento de IU sob ou próximo ao cursor por meio de APIs de automação do sistema operacional. Um LLM então age por meio de um ciclo de observação-ação ancorado em acessibilidade, utilizando primitivas de IU visível restritas, em vez de scripts específicos de aplicativo. O LUMOS não afirma substituir agentes visuais; em vez disso, reduz a dependência de capturas de tela quando os sistemas operacionais já fornecem estrutura semântica. Esses resultados sugerem um caminho para sistemas operacionais nativos de IA e camadas de interação legíveis por máquina.

English

Current operating systems expose interfaces optimized for human users but not for AI agents. Humans benefit from pixels, icons, windows, visual grouping, mouse movement, and keyboard shortcuts; AI agents instead need compact semantic state, grounded actions, and reliable feedback. As a result, many computer-use agents are forced to interpret screenshots, OCR output, and visual crops, introducing high token costs, visual ambiguity, latency, and coordinate uncertainty. This paper introduces LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), a semantic interaction layer between AI agents and operating systems. LUMOS converts native accessibility metadata and browser UI structures into machine readable semantic blueprints with stable identifiers, roles, names, values, bounds, and action affordances. It also supports live semantic pointer grounding by querying the UI element under or near the cursor through operating-system automation APIs. An LLM then acts through an accessibility grounded observe act loop using constrained visible-UI primitives rather than application-specific scripts. LUMOS does not claim to replace visual agents; instead, it reduces dependence on screenshots when operating systems already provide semantic structure. These results suggest a path toward AI-native operating systems and machine-readable interaction layers.