Evalicaを使用した信頼性の高い、再現性のある、そして非常に高速なリーダーボード

Reliable, Reproducible, and Really Fast Leaderboards with Evalica

December 15, 2024

著者: Dmitry Ustalov

cs.AI

要旨

自然言語処理（NLP）技術の急速な進歩は、指示に調整された大規模言語モデル（LLM）などの開発において、人間と機械のフィードバックを用いた現代的な評価プロトコルの必要性を迫っています。本研究では、信頼性の高い再現可能なモデルのリーダーボード作成を支援するオープンソースツールキット「Evalica」を紹介します。本論文では、その設計を提示し、パフォーマンスを評価し、Webインターフェース、コマンドラインインターフェース、およびPython APIを通じてその使いやすさを実証します。

English

The rapid advancement of natural language processing (NLP) technologies, such as instruction-tuned large language models (LLMs), urges the development of modern evaluation protocols with human and machine feedback. We introduce Evalica, an open-source toolkit that facilitates the creation of reliable and reproducible model leaderboards. This paper presents its design, evaluates its performance, and demonstrates its usability through its Web interface, command-line interface, and Python API.