LUMOS: Una Capa Semántica de Sistema Operativo para Agentes de IA Basados en la Accesibilidad

Resumen

Los sistemas operativos actuales exponen interfaces optimizadas para usuarios humanos, pero no para agentes de IA. Los humanos se benefician de píxeles, iconos, ventanas, agrupación visual, movimientos del ratón y atajos de teclado; los agentes de IA, en cambio, necesitan un estado semántico compacto, acciones fundamentadas y retroalimentación fiable. Como resultado, muchos agentes de uso de computadoras se ven forzados a interpretar capturas de pantalla, salidas de OCR y recortes visuales, lo que introduce altos costos de tokens, ambigüedad visual, latencia e incertidumbre de coordenadas. Este artículo presenta LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), una capa de interacción semántica entre agentes de IA y sistemas operativos. LUMOS convierte los metadatos nativos de accesibilidad y las estructuras de interfaz de usuario del navegador en planos semánticos legibles por máquina con identificadores estables, roles, nombres, valores, límites y posibilidades de acción. También permite la fundamentación semántica en vivo del puntero al consultar el elemento de interfaz de usuario debajo o cerca del cursor mediante APIs de automatización del sistema operativo. Un LLM actúa entonces a través de un bucle de observación y acción fundamentado en accesibilidad, utilizando primitivas de interfaz de usuario visibles y restringidas en lugar de scripts específicos de aplicaciones. LUMOS no pretende reemplazar a los agentes visuales; en cambio, reduce la dependencia de capturas de pantalla cuando los sistemas operativos ya proporcionan estructura semántica. Estos resultados sugieren un camino hacia sistemas operativos nativos para IA y capas de interacción legibles por máquina.

English

Current operating systems expose interfaces optimized for human users but not for AI agents. Humans benefit from pixels, icons, windows, visual grouping, mouse movement, and keyboard shortcuts; AI agents instead need compact semantic state, grounded actions, and reliable feedback. As a result, many computer-use agents are forced to interpret screenshots, OCR output, and visual crops, introducing high token costs, visual ambiguity, latency, and coordinate uncertainty. This paper introduces LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), a semantic interaction layer between AI agents and operating systems. LUMOS converts native accessibility metadata and browser UI structures into machine readable semantic blueprints with stable identifiers, roles, names, values, bounds, and action affordances. It also supports live semantic pointer grounding by querying the UI element under or near the cursor through operating-system automation APIs. An LLM then acts through an accessibility grounded observe act loop using constrained visible-UI primitives rather than application-specific scripts. LUMOS does not claim to replace visual agents; instead, it reduces dependence on screenshots when operating systems already provide semantic structure. These results suggest a path toward AI-native operating systems and machine-readable interaction layers.