NeuralOS: Auf dem Weg zur Simulation von Betriebssystemen durch neuronale generative Modelle

NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

July 11, 2025

papers.authors: Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng

cs.AI

papers.abstract

Wir stellen NeuralOS vor, ein neuronales Framework, das grafische Benutzeroberflächen (GUIs) von Betriebssystemen simuliert, indem es Bildschirmframes direkt als Reaktion auf Benutzereingaben wie Mausbewegungen, Klicks und Tastaturereignisse vorhersagt. NeuralOS kombiniert ein rekurrentes neuronales Netzwerk (RNN), das den Computerzustand verfolgt, mit einem diffusionsbasierten neuronalen Renderer, der Bildschirmbilder erzeugt. Das Modell wird auf einem umfangreichen Datensatz von Ubuntu XFCE-Aufnahmen trainiert, die sowohl zufällig generierte Interaktionen als auch realistische Interaktionen, die von KI-Agenten erzeugt wurden, enthalten. Experimente zeigen, dass NeuralOS erfolgreich realistische GUI-Sequenzen rendert, Mausinteraktionen präzise erfasst und Zustandsübergänge wie das Starten von Anwendungen zuverlässig vorhersagt. Obwohl die präzise Modellierung feingranularer Tastaturinteraktionen nach wie vor eine Herausforderung darstellt, bietet NeuralOS einen Schritt in Richtung der Schaffung vollständig adaptiver, generativer neuronaler Schnittstellen für zukünftige Mensch-Computer-Interaktionssysteme.

English

We introduce NeuralOS, a neural framework that simulates graphical user interfaces (GUIs) of operating systems by directly predicting screen frames in response to user inputs such as mouse movements, clicks, and keyboard events. NeuralOS combines a recurrent neural network (RNN), which tracks computer state, with a diffusion-based neural renderer that generates screen images. The model is trained on a large-scale dataset of Ubuntu XFCE recordings, which include both randomly generated interactions and realistic interactions produced by AI agents. Experiments show that NeuralOS successfully renders realistic GUI sequences, accurately captures mouse interactions, and reliably predicts state transitions like application launches. Although modeling fine-grained keyboard interactions precisely remains challenging, NeuralOS offers a step toward creating fully adaptive, generative neural interfaces for future human-computer interaction systems.