LUMOS: Een semantische besturingssysteemlaag voor toegankelijkheidsgebaseerde AI-agenten

Samenvatting

Huidige besturingssystemen bieden interfaces die zijn geoptimaliseerd voor menselijke gebruikers, maar niet voor AI-agenten. Mensen profiteren van pixels, pictogrammen, vensters, visuele groepering, muisbewegingen en sneltoetsen; AI-agenten hebben daarentegen compacte semantische toestand, gefundeerde acties en betrouwbare feedback nodig. Als gevolg hiervan worden veel computergebruikende agenten gedwongen om schermafbeeldingen, OCR-uitvoer en visuele uitsneden te interpreteren, wat leidt tot hoge tokenkosten, visuele ambiguïteit, latentie en coördinatenonzekerheid. Dit artikel introduceert LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), een semantische interactielaag tussen AI-agenten en besturingssystemen. LUMOS converteert native toegankelijkheidsmetadata en browser UI-structuren naar machineleesbare semantische blauwdrukken met stabiele identificatoren, rollen, namen, waarden, grenzen en actiemogelijkheden. Het ondersteunt ook live semantische pointerverankering door het UI-element onder of nabij de cursor op te vragen via automatiserings-API's van het besturingssysteem. Een LLM handelt vervolgens via een op toegankelijkheid gebaseerde observeer-handel-lus met behulp van beperkte zichtbare UI-primitieven in plaats van applicatiespecifieke scripts. LUMOS beweert niet visuele agenten te vervangen; het vermindert daarentegen de afhankelijkheid van schermafbeeldingen wanneer besturingssystemen reeds semantische structuur bieden. Deze resultaten suggereren een pad naar AI-native besturingssystemen en machineleesbare interactielagen.

English

Current operating systems expose interfaces optimized for human users but not for AI agents. Humans benefit from pixels, icons, windows, visual grouping, mouse movement, and keyboard shortcuts; AI agents instead need compact semantic state, grounded actions, and reliable feedback. As a result, many computer-use agents are forced to interpret screenshots, OCR output, and visual crops, introducing high token costs, visual ambiguity, latency, and coordinate uncertainty. This paper introduces LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), a semantic interaction layer between AI agents and operating systems. LUMOS converts native accessibility metadata and browser UI structures into machine readable semantic blueprints with stable identifiers, roles, names, values, bounds, and action affordances. It also supports live semantic pointer grounding by querying the UI element under or near the cursor through operating-system automation APIs. An LLM then acts through an accessibility grounded observe act loop using constrained visible-UI primitives rather than application-specific scripts. LUMOS does not claim to replace visual agents; instead, it reduces dependence on screenshots when operating systems already provide semantic structure. These results suggest a path toward AI-native operating systems and machine-readable interaction layers.