Programa-como-Pesos: Um Paradigma de Programação para Funções Fuzzy

Resumo

Muitas tarefas de programação cotidiana resistem a uma implementação limpa baseada em regras, como alertar sobre linhas de log importantes, reparar JSON malformado ou classificar resultados de busca por intenção, e são cada vez mais terceirizadas para APIs de modelos de linguagem de grande porte, ao custo de localidade, reprodutibilidade e preço. Propomos a programação de função fuzzy: compilar tal função a partir de uma especificação em linguagem natural em um artefato neural compacto e executável localmente. Instanciamos esse paradigma com Program-as-Weights (PAW), no qual um compilador de 4B treinado no FuzzyBench, um conjunto de dados de 10 milhões de exemplos que disponibilizamos, emite adaptadores eficientes em parâmetros para um interpretador leve e congelado. Um interpretador Qwen3 de 0,6B executando programas PAW iguala o desempenho de prompting direto do Qwen3-32B, enquanto usa aproximadamente um quinquagésimo da memória de inferência e opera a 30 tokens/s em um MacBook M3. PAW reformula o modelo de fundação de um solucionador de problemas por entrada em um construtor de ferramentas: invocado uma vez por definição de função, ele produz um pequeno artefato reutilizável cujas chamadas subsequentes por aplicação de função são baratas e offline.

English

Many everyday programming tasks resist clean rule-based implementation, such as alerting on important log lines, repairing malformed JSON, or ranking search results by intent, and are increasingly outsourced to large language model APIs at the cost of locality, reproducibility, and price. We propose fuzzy-function programming: compiling such a function from a natural-language specification into a compact, locally-executable neural artifact. We instantiate this paradigm with Program-as-Weights (PAW), in which a 4B compiler trained on FuzzyBench, a 10M-example dataset we release, emits parameter-efficient adapters for a frozen, lightweight interpreter. A 0.6B Qwen3 interpreter executing PAW programs matches the performance of direct prompting of Qwen3-32B, while using roughly one fiftieth of the inference memory and running at 30 tokens/s on a MacBook M3. PAW reframes the foundation model from a per-input problem solver into a tool builder: invoked once per function definition, it produces a small reusable artifact whose subsequent calls per function application are cheap and offline.