NeuralOS: В направлении моделирования операционных систем с использованием нейронных генеративных моделей

NeuralOS: Towards Simulating Operating Systems via Neural Generative Models

July 11, 2025

Авторы: Luke Rivard, Sun Sun, Hongyu Guo, Wenhu Chen, Yuntian Deng

cs.AI

Аннотация

Мы представляем NeuralOS — нейронный фреймворк, который моделирует графические пользовательские интерфейсы (GUI) операционных систем, напрямую предсказывая кадры экрана в ответ на пользовательские действия, такие как движения мыши, клики и события клавиатуры. NeuralOS объединяет рекуррентную нейронную сеть (RNN), которая отслеживает состояние компьютера, с нейронным рендерером на основе диффузии, генерирующим изображения экрана. Модель обучается на масштабном наборе данных, состоящем из записей работы Ubuntu XFCE, включающих как случайно сгенерированные взаимодействия, так и реалистичные взаимодействия, созданные ИИ-агентами. Эксперименты показывают, что NeuralOS успешно воспроизводит реалистичные последовательности GUI, точно фиксирует взаимодействия с мышью и надежно предсказывает переходы состояний, такие как запуск приложений. Хотя точное моделирование детализированных взаимодействий с клавиатурой остается сложной задачей, NeuralOS представляет собой шаг к созданию полностью адаптивных, генеративных нейронных интерфейсов для будущих систем взаимодействия человека с компьютером.

English

We introduce NeuralOS, a neural framework that simulates graphical user interfaces (GUIs) of operating systems by directly predicting screen frames in response to user inputs such as mouse movements, clicks, and keyboard events. NeuralOS combines a recurrent neural network (RNN), which tracks computer state, with a diffusion-based neural renderer that generates screen images. The model is trained on a large-scale dataset of Ubuntu XFCE recordings, which include both randomly generated interactions and realistic interactions produced by AI agents. Experiments show that NeuralOS successfully renders realistic GUI sequences, accurately captures mouse interactions, and reliably predicts state transitions like application launches. Although modeling fine-grained keyboard interactions precisely remains challenging, NeuralOS offers a step toward creating fully adaptive, generative neural interfaces for future human-computer interaction systems.