LUMOS: Eine semantische Betriebssystemschicht für auf Barrierefreiheit basierende KI-Agenten

Zusammenfassung

Aktuelle Betriebssysteme bieten Schnittstellen, die für menschliche Nutzer optimiert sind, jedoch nicht für KI-Agenten. Menschen profitieren von Pixeln, Symbolen, Fenstern, visuellen Gruppierungen, Mausbewegungen und Tastaturkürzeln; KI-Agenten benötigen dagegen kompakte semantische Zustände, fundierte Aktionen und zuverlässiges Feedback. Infolgedessen sind viele Computer-nutzende Agenten gezwungen, Screenshots, OCR-Ausgaben und visuelle Ausschnitte zu interpretieren, was zu hohen Token-Kosten, visueller Ambiguität, Latenz und Koordinatenunsicherheit führt. Dieses Papier stellt LUMOS (Language Model Unified Machine-Readable Operating-System Semantics) vor, eine semantische Interaktionsschicht zwischen KI-Agenten und Betriebssystemen. LUMOS wandelt native Barrierefreiheits-Metadaten und Browser-UI-Strukturen in maschinenlesbare semantische Blaupausen mit stabilen Identifikatoren, Rollen, Namen, Werten, Begrenzungen und Handlungsmöglichkeiten um. Es unterstützt zudem die live-semantische Zeigerverankerung, indem es das UI-Element unter oder nahe dem Cursor über Automatisierungs-APIs des Betriebssystems abfragt. Ein LLM handelt dann über eine barrierefreiheitsfundierte Beobachtungs-Handlungs-Schleife, die eingeschränkte sichtbare UI-Primitive anstelle anwendungsspezifischer Skripte verwendet. LUMOS erhebt nicht den Anspruch, visuelle Agenten zu ersetzen; vielmehr reduziert es die Abhängigkeit von Screenshots, wenn Betriebssysteme bereits semantische Strukturen bereitstellen. Diese Ergebnisse deuten einen Weg hin zu KI-nativen Betriebssystemen und maschinenlesbaren Interaktionsschichten an.

English

Current operating systems expose interfaces optimized for human users but not for AI agents. Humans benefit from pixels, icons, windows, visual grouping, mouse movement, and keyboard shortcuts; AI agents instead need compact semantic state, grounded actions, and reliable feedback. As a result, many computer-use agents are forced to interpret screenshots, OCR output, and visual crops, introducing high token costs, visual ambiguity, latency, and coordinate uncertainty. This paper introduces LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), a semantic interaction layer between AI agents and operating systems. LUMOS converts native accessibility metadata and browser UI structures into machine readable semantic blueprints with stable identifiers, roles, names, values, bounds, and action affordances. It also supports live semantic pointer grounding by querying the UI element under or near the cursor through operating-system automation APIs. An LLM then acts through an accessibility grounded observe act loop using constrained visible-UI primitives rather than application-specific scripts. LUMOS does not claim to replace visual agents; instead, it reduces dependence on screenshots when operating systems already provide semantic structure. These results suggest a path toward AI-native operating systems and machine-readable interaction layers.