RuleChef: LLM 작업 지식을 사람이 편집 가능한 규칙에 정초하기

초록

본 논문에서는 대규모 언어 모델(LLM)을 활용하여 텍스트 분류, 개체명 인식(NER), 관계 추출과 같은 NLP 작업을 위한 실행 가능한 규칙을 생성하는 프레임워크인 RuleChef를 제시한다. 규칙은 작업 설명과 레이블이 지정된 예제 집합을 기반으로 생성되며, 이후 추가 예제와 기존 규칙에 대한 인간의 피드백을 바탕으로 반복적으로 개선된다. RuleChef는 주어진 작업에 대해 기존 모델에서 관찰된 입력-출력 쌍을 사용하여 규칙을 부트스트래핑하는 데에도 활용될 수 있다. LLM은 학습 시에만 사용되며, 규칙을 합성하고 유지된 분할에서 측정된 실패를 기반으로 규칙을 반복적으로 패치한다. 이 과정의 결과는 빠르고 결정론적이며 검사 가능한 규칙 시스템이다. 분류 및 NER 작업 모두에 대해 예비 평가를 수행한다. RuleChef를 Apache 2.0 라이선스 하에 오픈소스 소프트웨어로 공개한다.

English

We present RuleChef, a framework that uses large language models (LLMs) to generate executable rules for NLP tasks such as text classification, Named Entity Recognition (NER), or relation extraction. Rules are generated based on a task description and a set of labeled examples, then they are iteratively improved based both on additional examples and on human feedback overexisting rules. RuleChef can also be used to bootstrap rules using the observed input-output pairs from any existing model for a given task. LLMs are used only at learning time, synthesizing rules and iteratively patching them based on failures measured on a held-out split. The result of this process is a fast, deterministic, and inspectable rule system. Preliminary evaluation is performed on both classification and NER tasks. We release RuleChef as open-source software under an Apache 2.0