RuleChef: Ancorando o Conhecimento de Tarefas de LLM em Regras Editáveis por Humanos

Resumo

Apresentamos o RuleChef, um arcabouço que utiliza modelos de linguagem de grande escala (LLMs) para gerar regras executáveis para tarefas de PLN, como classificação de texto, reconhecimento de entidades nomeadas (NER) ou extração de relações. As regras são geradas com base em uma descrição da tarefa e em um conjunto de exemplos rotulados, sendo então aperfeiçoadas iterativamente tanto com base em exemplos adicionais quanto em feedback humano sobre as regras existentes. O RuleChef também pode ser utilizado para inicializar regras a partir dos pares entrada-saída observados de qualquer modelo existente para uma dada tarefa. Os LLMs são empregados apenas no momento do aprendizado, sintetizando regras e corrigindo-as iterativamente com base em falhas medidas em uma divisão de validação retida. O resultado desse processo é um sistema de regras rápido, determinístico e inspecionável. Uma avaliação preliminar é realizada em tarefas de classificação e NER. Disponibilizamos o RuleChef como software de código aberto sob licença Apache 2.0.

English

We present RuleChef, a framework that uses large language models (LLMs) to generate executable rules for NLP tasks such as text classification, Named Entity Recognition (NER), or relation extraction. Rules are generated based on a task description and a set of labeled examples, then they are iteratively improved based both on additional examples and on human feedback overexisting rules. RuleChef can also be used to bootstrap rules using the observed input-output pairs from any existing model for a given task. LLMs are used only at learning time, synthesizing rules and iteratively patching them based on failures measured on a held-out split. The result of this process is a fast, deterministic, and inspectable rule system. Preliminary evaluation is performed on both classification and NER tasks. We release RuleChef as open-source software under an Apache 2.0