NeuralOS: Op weg naar het simuleren van besturingssystemen via neurale generatieve modellen

NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

July 11, 2025

Auteurs: Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng

cs.AI

Samenvatting

We introduceren NeuralOS, een neuraal framework dat grafische gebruikersinterfaces (GUI's) van besturingssystemen simuleert door schermframes direct te voorspellen in reactie op gebruikersinvoer zoals muisbewegingen, klikken en toetsenbordgebeurtenissen. NeuralOS combineert een recurrent neural network (RNN), dat de computerstatus bijhoudt, met een op diffusie gebaseerde neurale renderer die schermafbeeldingen genereert. Het model is getraind op een grootschalige dataset van Ubuntu XFCE-opnames, die zowel willekeurig gegenereerde interacties als realistische interacties bevatten die door AI-agents zijn geproduceerd. Experimenten tonen aan dat NeuralOS realistische GUI-sequenties succesvol weergeeft, muisinteracties nauwkeurig vastlegt en staatsovergangen zoals het starten van applicaties betrouwbaar voorspelt. Hoewel het nauwkeurig modelleren van gedetailleerde toetsenbordinteracties een uitdaging blijft, biedt NeuralOS een stap in de richting van het creëren van volledig adaptieve, generatieve neurale interfaces voor toekomstige mens-computerinteractiesystemen.

English

We introduce NeuralOS, a neural framework that simulates graphical user interfaces (GUIs) of operating systems by directly predicting screen frames in response to user inputs such as mouse movements, clicks, and keyboard events. NeuralOS combines a recurrent neural network (RNN), which tracks computer state, with a diffusion-based neural renderer that generates screen images. The model is trained on a large-scale dataset of Ubuntu XFCE recordings, which include both randomly generated interactions and realistic interactions produced by AI agents. Experiments show that NeuralOS successfully renders realistic GUI sequences, accurately captures mouse interactions, and reliably predicts state transitions like application launches. Although modeling fine-grained keyboard interactions precisely remains challenging, NeuralOS offers a step toward creating fully adaptive, generative neural interfaces for future human-computer interaction systems.