Programm-als-Gewichte: Ein Programmierparadigma für unscharfe Funktionen

Zusammenfassung

Viele alltägliche Programmieraufgaben entziehen sich einer sauberen, regelbasierten Implementierung – etwa das Melden wichtiger Logzeilen, das Reparieren fehlerhafter JSONs oder das Sortieren von Suchergebnissen nach Intention – und werden zunehmend an APIs großer Sprachmodelle ausgelagert, was mit Einbußen bei Lokalität, Reproduzierbarkeit und Kosten einhergeht. Wir schlagen die Fuzzy-Funktionsprogrammierung vor: die Kompilierung einer solchen Funktion aus einer natürlichsprachlichen Spezifikation in ein kompaktes, lokal ausführbares neuronales Artefakt. Wir instanziieren dieses Paradigma mit Program-as-Weights (PAW), bei dem ein auf FuzzyBench – einem von uns veröffentlichten Datensatz mit 10 Millionen Beispielen – trainierter 4B-Kompiler parametereffiziente Adapter für einen eingefrorenen, leichten Interpreter erzeugt. Ein Qwen3-Interpreter mit 0,6B Parametern, der PAW-Programme ausführt, erreicht die Leistung des direkten Promptings von Qwen3-32B, benötigt dabei jedoch nur etwa ein Fünfzigstel des Inferenzspeichers und läuft mit 30 Tokens/s auf einem MacBook M3. PAW rahmt das Basismodell von einem eingabeabhängigen Problemlöser zu einem Werkzeugbauer um: Einmal pro Funktionsdefinition aufgerufen, erzeugt es ein kleines wiederverwendbares Artefakt, dessen nachfolgende Aufrufe pro Funktionsanwendung günstig und offline erfolgen.

English

Many everyday programming tasks resist clean rule-based implementation, such as alerting on important log lines, repairing malformed JSON, or ranking search results by intent, and are increasingly outsourced to large language model APIs at the cost of locality, reproducibility, and price. We propose fuzzy-function programming: compiling such a function from a natural-language specification into a compact, locally-executable neural artifact. We instantiate this paradigm with Program-as-Weights (PAW), in which a 4B compiler trained on FuzzyBench, a 10M-example dataset we release, emits parameter-efficient adapters for a frozen, lightweight interpreter. A 0.6B Qwen3 interpreter executing PAW programs matches the performance of direct prompting of Qwen3-32B, while using roughly one fiftieth of the inference memory and running at 30 tokens/s on a MacBook M3. PAW reframes the foundation model from a per-input problem solver into a tool builder: invoked once per function definition, it produces a small reusable artifact whose subsequent calls per function application are cheap and offline.