RuleChef: Fundamentación del Conocimiento de Tareas de LLM en Reglas Editables por Humanos

Resumen

Presentamos RuleChef, un marco que utiliza modelos de lenguaje grandes (LLMs) para generar reglas ejecutables para tareas de PLN como clasificación de textos, Reconocimiento de Entidades Nombradas (NER) o extracción de relaciones. Las reglas se generan a partir de una descripción de la tarea y un conjunto de ejemplos etiquetados, y luego se mejoran iterativamente basándose tanto en ejemplos adicionales como en la retroalimentación humana sobre las reglas existentes. RuleChef también puede usarse para inicializar reglas utilizando los pares entrada-salida observados de cualquier modelo existente para una tarea determinada. Los LLMs se utilizan únicamente en tiempo de aprendizaje, sintetizando reglas y parcheándolas iterativamente en función de los fallos medidos en una división de exclusión. El resultado de este proceso es un sistema de reglas rápido, determinista e inspeccionable. Se realiza una evaluación preliminar tanto en tareas de clasificación como de NER. Publicamos RuleChef como software de código abierto bajo una licencia Apache 2.0.

English

We present RuleChef, a framework that uses large language models (LLMs) to generate executable rules for NLP tasks such as text classification, Named Entity Recognition (NER), or relation extraction. Rules are generated based on a task description and a set of labeled examples, then they are iteratively improved based both on additional examples and on human feedback overexisting rules. RuleChef can also be used to bootstrap rules using the observed input-output pairs from any existing model for a given task. LLMs are used only at learning time, synthesizing rules and iteratively patching them based on failures measured on a held-out split. The result of this process is a fast, deterministic, and inspectable rule system. Preliminary evaluation is performed on both classification and NER tasks. We release RuleChef as open-source software under an Apache 2.0