LUMOS: 접근성 기반 AI 에이전트를 위한 의미론적 운영체제 계층

초록

현재 운영 체제는 인간 사용자에 최적화된 인터페이스를 제공하지만 AI 에이전트를 위해서는 그렇지 않습니다. 인간은 픽셀, 아이콘, 창, 시각적 그룹화, 마우스 움직임, 키보드 단축키의 이점을 누리는 반면, AI 에이전트는 대신 간결한 의미 상태, 근거 있는 동작, 신뢰할 수 있는 피드백이 필요합니다. 결과적으로 많은 컴퓨터 사용 에이전트는 스크린샷, OCR 출력, 시각적 크롭을 해석해야 하며, 이는 높은 토큰 비용, 시각적 모호성, 지연 시간, 좌표 불확실성을 초래합니다. 본 논문에서는 AI 에이전트와 운영 체제 간의 의미적 상호작용 계층인 LUMOS(Language Model Unified Machine-Readable Operating-System Semantics)를 소개합니다. LUMOS는 네이티브 접근성 메타데이터와 브라우저 UI 구조를 안정적인 식별자, 역할, 이름, 값, 경계, 동작 가능성을 갖춘 기계 판독 가능 의미 청사진으로 변환합니다. 또한 운영 체제 자동화 API를 통해 커서 아래 또는 근처의 UI 요소를 질의함으로써 실시간 의미 포인터 접지를 지원합니다. 그런 다음 LLM은 애플리케이션별 스크립트 대신 제한된 가시 UI 프리미티브를 사용하여 접근성 기반 관찰-행동 루프를 통해 동작합니다. LUMOS는 시각적 에이전트를 대체한다고 주장하지 않습니다. 대신 운영 체제가 이미 의미 구조를 제공하는 경우 스크린샷에 대한 의존성을 줄입니다. 이러한 결과는 AI 네이티브 운영 체제와 기계 판독 가능 상호작용 계층으로의 경로를 시사합니다.

English

Current operating systems expose interfaces optimized for human users but not for AI agents. Humans benefit from pixels, icons, windows, visual grouping, mouse movement, and keyboard shortcuts; AI agents instead need compact semantic state, grounded actions, and reliable feedback. As a result, many computer-use agents are forced to interpret screenshots, OCR output, and visual crops, introducing high token costs, visual ambiguity, latency, and coordinate uncertainty. This paper introduces LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), a semantic interaction layer between AI agents and operating systems. LUMOS converts native accessibility metadata and browser UI structures into machine readable semantic blueprints with stable identifiers, roles, names, values, bounds, and action affordances. It also supports live semantic pointer grounding by querying the UI element under or near the cursor through operating-system automation APIs. An LLM then acts through an accessibility grounded observe act loop using constrained visible-UI primitives rather than application-specific scripts. LUMOS does not claim to replace visual agents; instead, it reduces dependence on screenshots when operating systems already provide semantic structure. These results suggest a path toward AI-native operating systems and machine-readable interaction layers.