Programme-poids : un paradigme de programmation pour les fonctions floues

Résumé

De nombreuses tâches de programmation courantes, telles qu'alerter sur des lignes de journal importantes, réparer du JSON mal formé ou classer des résultats de recherche par intention, résistent à une implémentation propre par règles et sont de plus en plus externalisées vers des API de grands modèles de langage, au détriment de la localité, de la reproductibilité et du coût. Nous proposons la programmation par fonctions floues : compiler une telle fonction à partir d'une spécification en langage naturel en un artefact neuronal compact et exécutable localement. Nous instancions ce paradigme avec Program-as-Weights (PAW), dans lequel un compilateur de 4B entraîné sur FuzzyBench, un ensemble de données de 10M d'exemples que nous publions, génère des adaptateurs paramétriques efficaces pour un interpréteur léger et gelé. Un interpréteur Qwen3 de 0.6B exécutant des programmes PAW atteint les performances d'un prompt direct de Qwen3-32B, tout en utilisant environ un cinquantième de la mémoire d'inférence et en fonctionnant à 30 tokens/s sur un MacBook M3. PAW recadre le modèle de fondation d'un résolveur de problème par entrée en un constructeur d'outils : invoqué une fois par définition de fonction, il produit un petit artefact réutilisable dont les appels ultérieurs par application de fonction sont peu coûteux et hors ligne.

English

Many everyday programming tasks resist clean rule-based implementation, such as alerting on important log lines, repairing malformed JSON, or ranking search results by intent, and are increasingly outsourced to large language model APIs at the cost of locality, reproducibility, and price. We propose fuzzy-function programming: compiling such a function from a natural-language specification into a compact, locally-executable neural artifact. We instantiate this paradigm with Program-as-Weights (PAW), in which a 4B compiler trained on FuzzyBench, a 10M-example dataset we release, emits parameter-efficient adapters for a frozen, lightweight interpreter. A 0.6B Qwen3 interpreter executing PAW programs matches the performance of direct prompting of Qwen3-32B, while using roughly one fiftieth of the inference memory and running at 30 tokens/s on a MacBook M3. PAW reframes the foundation model from a per-input problem solver into a tool builder: invoked once per function definition, it produces a small reusable artifact whose subsequent calls per function application are cheap and offline.