RuleChef: Het verankeren van LLM-taakkennis in door mensen bewerkbare regels

Samenvatting

We presenteren RuleChef, een raamwerk dat gebruikmaakt van grote taalmodellen (LLM's) om uitvoerbare regels te genereren voor NLP-taken zoals tekstclassificatie, Named Entity Recognition (NER) of relatie-extractie. Regels worden gegenereerd op basis van een taakbeschrijving en een reeks gelabelde voorbeelden, waarna ze iteratief worden verbeterd op basis van zowel aanvullende voorbeelden als menselijke feedback over bestaande regels. RuleChef kan ook worden gebruikt om regels op te starten via de waargenomen invoer-uitvoerparen van een bestaand model voor een bepaalde taak. LLM's worden alleen gebruikt tijdens de leertijd, waarbij regels worden gesynthetiseerd en iteratief worden aangepast op basis van fouten die zijn gemeten op een aparte hold-out-splitsing. Het resultaat van dit proces is een snel, deterministisch en inspecteerbaar regelsysteem. Een voorlopige evaluatie wordt uitgevoerd op zowel classificatie- als NER-taken. We brengen RuleChef uit als open-source software onder een Apache 2.0-licentie.

English

We present RuleChef, a framework that uses large language models (LLMs) to generate executable rules for NLP tasks such as text classification, Named Entity Recognition (NER), or relation extraction. Rules are generated based on a task description and a set of labeled examples, then they are iteratively improved based both on additional examples and on human feedback overexisting rules. RuleChef can also be used to bootstrap rules using the observed input-output pairs from any existing model for a given task. LLMs are used only at learning time, synthesizing rules and iteratively patching them based on failures measured on a held-out split. The result of this process is a fast, deterministic, and inspectable rule system. Preliminary evaluation is performed on both classification and NER tasks. We release RuleChef as open-source software under an Apache 2.0