Neuronale Computer

Zusammenfassung

Wir schlagen eine neue Grenze vor: Neuronale Computer (NCs) – eine aufstrebende Maschinenform, die Berechnung, Speicher und Ein-/Ausgabe in einem gelernten Laufzeitzustand vereint. Im Gegensatz zu konventionellen Computern, die explizite Programme ausführen, Agenten, die in externen Ausführungsumgebungen agieren, und Weltmodellen, die Umgebungsdynamiken lernen, zielen NCs darauf ab, das Modell selbst zum laufenden Computer zu machen. Unser langfristiges Ziel ist der Vollständig Neuronale Computer (CNC): die ausgereifte, allgemeine Realisierung dieser aufstrebenden Maschinenform mit stabiler Ausführung, expliziter Neuprogrammierung und dauerhafter Wiederverwendbarkeit von Fähigkeiten. Als ersten Schritt untersuchen wir, ob frühe NC-Primitive ausschließlich aus gesammelten E/A-Protokollen ohne instrumentierte Programmzustände gelernt werden können. Konkret instanziieren wir NCs als Videomodelle, die Bildschirmframes aus Anweisungen, Pixeln und Benutzeraktionen (sofern verfügbar) in CLI- und GUI-Umgebungen erzeugen. Diese Implementierungen zeigen, dass gelernte Laufzeitsysteme frühe Schnittstellenprimitive erlernen können, insbesondere E/A-Ausrichtung und kurzfristige Steuerung, während Routinenwiederverwendung, kontrollierte Aktualisierungen und symbolische Stabilität offene Herausforderungen bleiben. Wir skizzieren einen Fahrplan hin zu CNCs rund um diese Herausforderungen. Wenn sie überwunden werden, könnten CNCs ein neues Computerparadigma jenseits heutiger Agenten, Weltmodelle und konventioneller Computer etablieren.

English

We propose a new frontier: Neural Computers (NCs) -- an emerging machine form that unifies computation, memory, and I/O in a learned runtime state. Unlike conventional computers, which execute explicit programs, agents, which act over external execution environments, and world models, which learn environment dynamics, NCs aim to make the model itself the running computer. Our long-term goal is the Completely Neural Computer (CNC): the mature, general-purpose realization of this emerging machine form, with stable execution, explicit reprogramming, and durable capability reuse. As an initial step, we study whether early NC primitives can be learned solely from collected I/O traces, without instrumented program state. Concretely, we instantiate NCs as video models that roll out screen frames from instructions, pixels, and user actions (when available) in CLI and GUI settings. These implementations show that learned runtimes can acquire early interface primitives, especially I/O alignment and short-horizon control, while routine reuse, controlled updates, and symbolic stability remain open. We outline a roadmap toward CNCs around these challenges. If overcome, CNCs could establish a new computing paradigm beyond today's agents, world models, and conventional computers.