RuleChef: Укоренение знаний LLM о задачах в правилах, редактируемых человеком

Аннотация

Мы представляем RuleChef — фреймворк, использующий большие языковые модели (LLM) для генерации исполнимых правил для таких задач NLP, как классификация текстов, распознавание именованных сущностей (NER) или извлечение отношений. Правила генерируются на основе описания задачи и набора размеченных примеров, затем итеративно улучшаются как на основе дополнительных примеров, так и с учетом обратной связи от человека по существующим правилам. RuleChef также можно использовать для начальной загрузки правил на основе наблюдаемых пар «вход-выход» от любой существующей модели для данной задачи. LLM применяются только на этапе обучения: они синтезируют правила и итеративно корректируют их на основе ошибок, измеренных на отложенной выборке. Результатом этого процесса является быстрая, детерминированная и инспектируемая система правил. Предварительная оценка проводится как для задач классификации, так и для NER. Мы выпускаем RuleChef как программное обеспечение с открытым исходным кодом под лицензией Apache 2.0.

English

We present RuleChef, a framework that uses large language models (LLMs) to generate executable rules for NLP tasks such as text classification, Named Entity Recognition (NER), or relation extraction. Rules are generated based on a task description and a set of labeled examples, then they are iteratively improved based both on additional examples and on human feedback overexisting rules. RuleChef can also be used to bootstrap rules using the observed input-output pairs from any existing model for a given task. LLMs are used only at learning time, synthesizing rules and iteratively patching them based on failures measured on a held-out split. The result of this process is a fast, deterministic, and inspectable rule system. Preliminary evaluation is performed on both classification and NER tasks. We release RuleChef as open-source software under an Apache 2.0