RuleChef: Verankerung von LLM-Aufgabenwissen in menscheneditierbaren Regeln

Zusammenfassung

Wir stellen RuleChef vor, ein Framework, das große Sprachmodelle (Large Language Models, LLMs) nutzt, um ausführbare Regeln für NLP-Aufgaben wie Textklassifikation, Erkennung benannter Entitäten (Named Entity Recognition, NER) oder Relationsextraktion zu generieren. Die Regeln werden basierend auf einer Aufgabenbeschreibung und einer Reihe annotierter Beispiele erzeugt und dann iterativ sowohl anhand zusätzlicher Beispiele als auch durch menschliches Feedback zu bestehenden Regeln verbessert. RuleChef kann auch verwendet werden, um Regeln zu bootstrappen, indem die beobachteten Eingabe-Ausgabe-Paare eines vorhandenen Modells für eine bestimmte Aufgabe genutzt werden. LLMs werden nur zur Lernzeit eingesetzt, indem sie Regeln synthetisieren und diese basierend auf Fehlern, die auf einem zurückgehaltenen Datensplit gemessen wurden, iterativ anpassen. Das Ergebnis dieses Prozesses ist ein schnelles, deterministisches und überprüfbares Regelsystem. Eine vorläufige Evaluierung wird sowohl für Klassifikations- als auch für NER-Aufgaben durchgeführt. Wir veröffentlichen RuleChef als Open-Source-Software unter der Apache-2.0-Lizenz.

English

We present RuleChef, a framework that uses large language models (LLMs) to generate executable rules for NLP tasks such as text classification, Named Entity Recognition (NER), or relation extraction. Rules are generated based on a task description and a set of labeled examples, then they are iteratively improved based both on additional examples and on human feedback overexisting rules. RuleChef can also be used to bootstrap rules using the observed input-output pairs from any existing model for a given task. LLMs are used only at learning time, synthesizing rules and iteratively patching them based on failures measured on a held-out split. The result of this process is a fast, deterministic, and inspectable rule system. Preliminary evaluation is performed on both classification and NER tasks. We release RuleChef as open-source software under an Apache 2.0