Программа-как-веса: парадигма программирования для нечетких функций

Аннотация

Многие повседневные задачи программирования, такие как оповещение о важных строках журнала, исправление некорректного JSON или ранжирование результатов поиска по намерению, плохо поддаются реализации на основе чётких правил и всё чаще передаются API больших языковых моделей в ущерб локальности, воспроизводимости и стоимости. Мы предлагаем программирование с нечёткой функцией: компиляцию такой функции из спецификации на естественном языке в компактный, локально исполняемый нейросетевой артефакт. Мы реализуем эту парадигму с помощью подхода «Программа как веса» (PAW), в котором компилятор объёмом 4B параметров, обученный на нашем наборе данных FuzzyBench (10 миллионов примеров, который мы публикуем), генерирует адаптеры с малым числом параметров для замороженного лёгкого интерпретатора. Интерпретатор Qwen3 объёмом 0,6B, выполняющий программы PAW, достигает производительности прямого промптинга Qwen3-32B, используя при этом примерно одну пятидесятую памяти для инференса и работая со скоростью 30 токенов/с на MacBook M3. PAW переосмысливает фундаментальную модель: из решателя задач для каждого входного запроса она превращается в инструментального строителя: вызывается один раз на определение функции и создаёт небольшой многократно используемый артефакт, последующие вызовы которого в расчёте на одно применение функции дёшевы и выполняются офлайн.

English

Many everyday programming tasks resist clean rule-based implementation, such as alerting on important log lines, repairing malformed JSON, or ranking search results by intent, and are increasingly outsourced to large language model APIs at the cost of locality, reproducibility, and price. We propose fuzzy-function programming: compiling such a function from a natural-language specification into a compact, locally-executable neural artifact. We instantiate this paradigm with Program-as-Weights (PAW), in which a 4B compiler trained on FuzzyBench, a 10M-example dataset we release, emits parameter-efficient adapters for a frozen, lightweight interpreter. A 0.6B Qwen3 interpreter executing PAW programs matches the performance of direct prompting of Qwen3-32B, while using roughly one fiftieth of the inference memory and running at 30 tokens/s on a MacBook M3. PAW reframes the foundation model from a per-input problem solver into a tool builder: invoked once per function definition, it produces a small reusable artifact whose subsequent calls per function application are cheap and offline.