정치적 논쟁: 정치 텍스트를 위한 효율적인 제로샷 및 퓨샷 분류기

Political DEBATE: Efficient Zero-shot and Few-shot Classifiers for Political Text

September 3, 2024

저자: Michael Burnham, Kayla Kahn, Ryan Yank Wang, Rachel X. Peng

cs.AI

초록

사회과학자들은 지도 학습 없이 문서를 주석 달 수 있는 능력으로 알려진 제로샷 학습 능력을 갖춘 대형 언어 모델을 신속하게 채택했습니다. 그러나 이러한 모델은 연산 요구, 비용 및 종종 독점적인 성격으로 인해 복제 및 공개 과학 표준과 자주 충돌합니다. 본 논문에서는 정치 문서의 제로샷 및 퓨샷 분류를 위한 Political DEBATE(DeBERTa Algorithm for Textual Entailment) 언어 모델을 소개합니다. 이러한 모델은 대형 언어 모델과 비교하여 제로 및 퓨샷 분류에서 우수하거나 더 나은 성능을 보이며, 수십 배 더 효율적이고 완전히 오픈 소스입니다. 이 모델들을 10-25개의 문서를 간단한 무작위 샘플로 학습시킴으로써, 수백 또는 수천 개의 문서로 학습된 지도 분류기 및 복잡하고 공학적으로 설계된 프롬프트를 사용하는 최첨단 생성 모델보다 우수한 성능을 발휘할 수 있습니다. 더불어, 이러한 모델을 학습하는 데 사용된 PolNLI 데이터셋을 공개합니다. 이 데이터셋은 200,000개 이상의 정치 문서로 구성되어 있으며 800개 이상의 분류 작업에 걸쳐 매우 정확한 레이블을 제공합니다.

English

Social scientists quickly adopted large language models due to their ability to annotate documents without supervised training, an ability known as zero-shot learning. However, due to their compute demands, cost, and often proprietary nature, these models are often at odds with replication and open science standards. This paper introduces the Political DEBATE (DeBERTa Algorithm for Textual Entailment) language models for zero-shot and few-shot classification of political documents. These models are not only as good, or better than, state-of-the art large language models at zero and few-shot classification, but are orders of magnitude more efficient and completely open source. By training the models on a simple random sample of 10-25 documents, they can outperform supervised classifiers trained on hundreds or thousands of documents and state-of-the-art generative models with complex, engineered prompts. Additionally, we release the PolNLI dataset used to train these models -- a corpus of over 200,000 political documents with highly accurate labels across over 800 classification tasks.