LUMOS : une couche de système d'exploitation sémantique pour des agents d'IA ancrés dans l'accessibilité

Résumé

Les systèmes d'exploitation actuels exposent des interfaces optimisées pour les utilisateurs humains, mais pas pour les agents d'IA. Les humains bénéficient des pixels, icônes, fenêtres, regroupements visuels, mouvements de souris et raccourcis clavier ; les agents d'IA nécessitent quant à eux un état sémantique compact, des actions ancrées et un retour fiable. Par conséquent, de nombreux agents d'interaction avec l'ordinateur sont contraints d'interpréter des captures d'écran, des résultats d'OCR et des extraits visuels, ce qui entraîne des coûts de tokens élevés, une ambiguïté visuelle, une latence et une incertitude sur les coordonnées. Cet article présente LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), une couche d'interaction sémantique entre les agents d'IA et les systèmes d'exploitation. LUMOS convertit les métadonnées d'accessibilité natives et les structures d'interface utilisateur des navigateurs en plans sémantiques lisibles par machine, avec des identifiants stables, des rôles, des noms, des valeurs, des limites et des affordances d'action. Il prend également en charge l'ancrage sémantique en direct du pointeur en interrogeant l'élément d'interface utilisateur situé sous ou près du curseur via les API d'automatisation du système d'exploitation. Un LLM agit ensuite selon une boucle d'observation et d'action ancrée dans l'accessibilité, en utilisant des primitives d'interface utilisateur visibles contraintes plutôt que des scripts spécifiques à une application. LUMOS ne prétend pas remplacer les agents visuels ; il vise plutôt à réduire la dépendance aux captures d'écran lorsque les systèmes d'exploitation fournissent déjà une structure sémantique. Ces résultats suggèrent une voie vers des systèmes d'exploitation natifs pour l'IA et des couches d'interaction lisibles par machine.

English

Current operating systems expose interfaces optimized for human users but not for AI agents. Humans benefit from pixels, icons, windows, visual grouping, mouse movement, and keyboard shortcuts; AI agents instead need compact semantic state, grounded actions, and reliable feedback. As a result, many computer-use agents are forced to interpret screenshots, OCR output, and visual crops, introducing high token costs, visual ambiguity, latency, and coordinate uncertainty. This paper introduces LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), a semantic interaction layer between AI agents and operating systems. LUMOS converts native accessibility metadata and browser UI structures into machine readable semantic blueprints with stable identifiers, roles, names, values, bounds, and action affordances. It also supports live semantic pointer grounding by querying the UI element under or near the cursor through operating-system automation APIs. An LLM then acts through an accessibility grounded observe act loop using constrained visible-UI primitives rather than application-specific scripts. LUMOS does not claim to replace visual agents; instead, it reduces dependence on screenshots when operating systems already provide semantic structure. These results suggest a path toward AI-native operating systems and machine-readable interaction layers.