Tiny QA Benchmark++: 超軽量・合成型多言語データセットの生成と、継続的LLM評価のためのスモークテスト

Tiny QA Benchmark++: Ultra-Lightweight, Synthetic Multilingual Dataset Generation & Smoke-Tests for Continuous LLM Evaluation

May 17, 2025

著者: Vincent Koc

cs.AI

要旨

Tiny QA Benchmark++ (TQB++)は、大規模言語モデル（LLM）パイプラインに、わずか数秒で実行可能な最小限のコストでユニットテストスタイルの安全網データセットを提供する、超軽量で多言語対応のスモークテストスイートです。Comet Opikプロンプト最適化SDKの開発における迅速なフィードバックループの必要性から生まれ、重厚なベンチマークを待つことが開発者の作業フローを妨げる問題を解決します。TQB++は、52項目の英語ゴールドセット（20 kB未満）と、プロバイダーに依存しないLiteLLM上に構築された小さな合成データジェネレータのPyPIパッケージを組み合わせています。このジェネレータにより、実践者は任意の言語、ドメイン、難易度で独自の小さなパックを作成でき、既にアラビア語、中国語、フランス語、ドイツ語、日本語、韓国語、ポルトガル語、ロシア語、スペイン語、トルコ語に対応した10の既成パックが用意されています。各データセットには、CroissantメタデータとOpenAI-Evals、LangChain、標準CIツール用のプラグアンドプレイファイルが同梱されており、チームはGPU予算に触れることなく、プルリクエストゲート、プロンプトエンジニアリングループ、およびプロダクションダッシュボードに決定論的マイクロベンチマークを直接組み込むことができます。TQB++の完全な実行はパイプラインのレイテンシに数秒しか追加しませんが、MMLUやBIG-Benchのような大規模スイートが設定を完了する前に、プロンプトテンプレートのエラー、トークナイザーのドリフト、およびファインチューニングの副作用を確実に検出します。このフレームワーク全体が公開され、生成AIエコシステム全体で継続的かつリソース効率の高い品質保証を加速することを目的としています。

English

Tiny QA Benchmark++ (TQB++) presents an ultra-lightweight, multilingual smoke-test suite designed to give large-language-model (LLM) pipelines a unit-test style safety net dataset that runs in seconds with minimal cost. Born out of the tight feedback-loop demands building the Comet Opik prompt-optimization SDK, where waiting on heavyweight benchmarks breaks developer flow. TQB++ couples a 52-item English gold set (less than 20 kB) with a tiny synthetic-data generator pypi package built on provider-agnostic LiteLLM. The generator lets practitioners mint their own tiny packs in any language, domain, or difficulty, while ten ready-made packs already cover Arabic, Chinese, French, German, Japanese, Korean, Portuguese, Russian, Spanish, and Turkish. Every dataset ships with Croissant metadata and plug-and-play files for OpenAI-Evals, LangChain, and standard CI tools, so teams can drop deterministic micro-benchmarks directly into pull-request gates, prompt-engineering loops, and production dashboards without touching GPU budgets. A complete TQB++ run adds only a few seconds to pipeline latency yet reliably flags prompt-template errors, tokenizer drift, and fine-tuning side-effects long before full-scale suites like MMLU or BIG-Bench would finish configuring. The entire framework is released to accelerate continuous, resource-efficient quality assurance across the generative-AI ecosystem.