Tiny QA Benchmark++: Generazione di Dataset Sintetici Multilingue Ultra-Leggeri e Test di Verifica per la Valutazione Continua di Modelli Linguistici
Tiny QA Benchmark++: Ultra-Lightweight, Synthetic Multilingual Dataset Generation & Smoke-Tests for Continuous LLM Evaluation
May 17, 2025
Autori: Vincent Koc
cs.AI
Abstract
Tiny QA Benchmark++ (TQB++) presenta una suite di test ultra-leggera e multilingue progettata per fornire alle pipeline di modelli linguistici di grandi dimensioni (LLM) un dataset di sicurezza in stile unit-test che si esegue in pochi secondi con costi minimi. Nato dalle esigenze di feedback rapido durante lo sviluppo dell'SDK di ottimizzazione dei prompt Comet Opik, dove l'attesa di benchmark pesanti interrompe il flusso di lavoro degli sviluppatori. TQB++ combina un set di riferimento in inglese di 52 elementi (meno di 20 kB) con un piccolo pacchetto pypi generatore di dati sintetici basato su LiteLLM, indipendente dal provider. Il generatore consente ai professionisti di creare i propri pacchetti miniaturizzati in qualsiasi lingua, dominio o livello di difficoltà, mentre dieci pacchetti predefiniti coprono già arabo, cinese, francese, tedesco, giapponese, coreano, portoghese, russo, spagnolo e turco. Ogni dataset è fornito con metadati Croissant e file plug-and-play per OpenAI-Evals, LangChain e strumenti CI standard, consentendo ai team di integrare micro-benchmark deterministici direttamente nei gate delle pull-request, nei cicli di prompt-engineering e nei dashboard di produzione senza intaccare i budget GPU. Un'esecuzione completa di TQB++ aggiunge solo pochi secondi alla latenza della pipeline, ma segnala in modo affidabile errori nei template dei prompt, deriva dei tokenizer ed effetti collaterali del fine-tuning molto prima che suite su larga scala come MMLU o BIG-Bench abbiano finito di configurarsi. L'intero framework è stato rilasciato per accelerare un'assurance qualità continua ed efficiente in termini di risorse nell'ecosistema dell'IA generativa.
English
Tiny QA Benchmark++ (TQB++) presents an ultra-lightweight, multilingual
smoke-test suite designed to give large-language-model (LLM) pipelines a
unit-test style safety net dataset that runs in seconds with minimal cost. Born
out of the tight feedback-loop demands building the Comet Opik
prompt-optimization SDK, where waiting on heavyweight benchmarks breaks
developer flow. TQB++ couples a 52-item English gold set (less than 20 kB) with
a tiny synthetic-data generator pypi package built on provider-agnostic
LiteLLM. The generator lets practitioners mint their own tiny packs in any
language, domain, or difficulty, while ten ready-made packs already cover
Arabic, Chinese, French, German, Japanese, Korean, Portuguese, Russian,
Spanish, and Turkish. Every dataset ships with Croissant metadata and
plug-and-play files for OpenAI-Evals, LangChain, and standard CI tools, so
teams can drop deterministic micro-benchmarks directly into pull-request gates,
prompt-engineering loops, and production dashboards without touching GPU
budgets. A complete TQB++ run adds only a few seconds to pipeline latency yet
reliably flags prompt-template errors, tokenizer drift, and fine-tuning
side-effects long before full-scale suites like MMLU or BIG-Bench would finish
configuring. The entire framework is released to accelerate continuous,
resource-efficient quality assurance across the generative-AI ecosystem.