RuleChef: 人間編集可能なルールによるLLMタスク知識の基盤化

要旨

本論文では、大規模言語モデル（LLM）を利用して、テキスト分類、固有表現認識（NER）、関係抽出などのNLPタスクのための実行可能なルールを生成するフレームワーク「RuleChef」を提案する。ルールは、タスクの説明とラベル付きサンプルセットに基づいて生成され、その後、追加のサンプルと既存のルールに対する人間のフィードバックの両方に基づいて反復的に改善される。RuleChefは、任意の既存モデルから観測された入出力ペアを利用してルールをブートストラップすることもできる。LLMは学習時のみ使用され、ルールを合成し、ホールドアウト分割で測定された失敗に基づいて反復的に修正する。このプロセスの結果、高速で決定論的かつ検査可能なルールシステムが得られる。予備評価は、分類タスクとNERタスクの両方で実施された。RuleChefは、Apache 2.0ライセンスの下でオープンソースソフトウェアとして公開する。

English

We present RuleChef, a framework that uses large language models (LLMs) to generate executable rules for NLP tasks such as text classification, Named Entity Recognition (NER), or relation extraction. Rules are generated based on a task description and a set of labeled examples, then they are iteratively improved based both on additional examples and on human feedback overexisting rules. RuleChef can also be used to bootstrap rules using the observed input-output pairs from any existing model for a given task. LLMs are used only at learning time, synthesizing rules and iteratively patching them based on failures measured on a held-out split. The result of this process is a fast, deterministic, and inspectable rule system. Preliminary evaluation is performed on both classification and NER tasks. We release RuleChef as open-source software under an Apache 2.0