NeuralOS: Verso la Simulazione di Sistemi Operativi tramite Modelli Generativi Neurali

NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

July 11, 2025

Autori: Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng

cs.AI

Abstract

Presentiamo NeuralOS, un framework neurale che simula le interfacce grafiche (GUI) dei sistemi operativi prevedendo direttamente i fotogrammi dello schermo in risposta a input utente come movimenti del mouse, clic ed eventi da tastiera. NeuralOS combina una rete neurale ricorrente (RNN), che tiene traccia dello stato del computer, con un renderer neurale basato su diffusione che genera immagini dello schermo. Il modello è addestrato su un ampio dataset di registrazioni di Ubuntu XFCE, che includono sia interazioni generate casualmente sia interazioni realistiche prodotte da agenti AI. Gli esperimenti dimostrano che NeuralOS è in grado di renderizzare sequenze GUI realistiche, catturare accuratamente le interazioni del mouse e prevedere in modo affidabile transizioni di stato come l'avvio di applicazioni. Sebbene modellare con precisione interazioni dettagliate da tastiera rimanga una sfida, NeuralOS rappresenta un passo verso la creazione di interfacce neurali generative e completamente adattive per i futuri sistemi di interazione uomo-computer.

English

We introduce NeuralOS, a neural framework that simulates graphical user interfaces (GUIs) of operating systems by directly predicting screen frames in response to user inputs such as mouse movements, clicks, and keyboard events. NeuralOS combines a recurrent neural network (RNN), which tracks computer state, with a diffusion-based neural renderer that generates screen images. The model is trained on a large-scale dataset of Ubuntu XFCE recordings, which include both randomly generated interactions and realistic interactions produced by AI agents. Experiments show that NeuralOS successfully renders realistic GUI sequences, accurately captures mouse interactions, and reliably predicts state transitions like application launches. Although modeling fine-grained keyboard interactions precisely remains challenging, NeuralOS offers a step toward creating fully adaptive, generative neural interfaces for future human-computer interaction systems.