RuleChef : Ancrage des connaissances de tâche des LLM dans des règles éditables par l'humain

Résumé

Nous présentons RuleChef, un cadre qui utilise les grands modèles de langage (LLMs) pour générer des règles exécutables destinées à des tâches de traitement du langage naturel (TAL) telles que la classification de texte, la reconnaissance d’entités nommées (NER) ou l’extraction de relations. Les règles sont générées à partir d’une description de la tâche et d’un ensemble d’exemples étiquetés, puis améliorées de manière itérative en s’appuyant à la fois sur des exemples supplémentaires et sur les retours humains concernant les règles existantes. RuleChef peut également être utilisé pour amorcer des règles en utilisant les paires entrées-sorties observées issues de tout modèle existant pour une tâche donnée. Les LLMs ne sont utilisés qu’en phase d’apprentissage, pour synthétiser des règles et les corriger de manière itérative en fonction des échecs mesurés sur un sous-ensemble de validation. Le résultat de ce processus est un système de règles rapide, déterministe et inspectable. Une évaluation préliminaire est effectuée à la fois sur des tâches de classification et de NER. Nous publions RuleChef en tant que logiciel open source sous licence Apache 2.0.

English

We present RuleChef, a framework that uses large language models (LLMs) to generate executable rules for NLP tasks such as text classification, Named Entity Recognition (NER), or relation extraction. Rules are generated based on a task description and a set of labeled examples, then they are iteratively improved based both on additional examples and on human feedback overexisting rules. RuleChef can also be used to bootstrap rules using the observed input-output pairs from any existing model for a given task. LLMs are used only at learning time, synthesizing rules and iteratively patching them based on failures measured on a held-out split. The result of this process is a fast, deterministic, and inspectable rule system. Preliminary evaluation is performed on both classification and NER tasks. We release RuleChef as open-source software under an Apache 2.0