NeuralOS: Rumo à Simulação de Sistemas Operacionais por meio de Modelos Gerativos Neurais

NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

July 11, 2025

Autores: Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng

cs.AI

Resumo

Apresentamos o NeuralOS, um framework neural que simula interfaces gráficas de usuário (GUIs) de sistemas operacionais ao prever diretamente os frames da tela em resposta a entradas do usuário, como movimentos do mouse, cliques e eventos de teclado. O NeuralOS combina uma rede neural recorrente (RNN), que rastreia o estado do computador, com um renderizador neural baseado em difusão que gera imagens da tela. O modelo é treinado em um conjunto de dados em larga escala de gravações do Ubuntu XFCE, que incluem tanto interações geradas aleatoriamente quanto interações realistas produzidas por agentes de IA. Experimentos mostram que o NeuralOS renderiza com sucesso sequências realistas de GUIs, captura com precisão interações do mouse e prevê de forma confiável transições de estado, como o lançamento de aplicativos. Embora modelar interações detalhadas de teclado com precisão ainda seja um desafio, o NeuralOS representa um passo em direção à criação de interfaces neurais generativas e totalmente adaptáveis para futuros sistemas de interação humano-computador.

English

We introduce NeuralOS, a neural framework that simulates graphical user interfaces (GUIs) of operating systems by directly predicting screen frames in response to user inputs such as mouse movements, clicks, and keyboard events. NeuralOS combines a recurrent neural network (RNN), which tracks computer state, with a diffusion-based neural renderer that generates screen images. The model is trained on a large-scale dataset of Ubuntu XFCE recordings, which include both randomly generated interactions and realistic interactions produced by AI agents. Experiments show that NeuralOS successfully renders realistic GUI sequences, accurately captures mouse interactions, and reliably predicts state transitions like application launches. Although modeling fine-grained keyboard interactions precisely remains challenging, NeuralOS offers a step toward creating fully adaptive, generative neural interfaces for future human-computer interaction systems.