Tiny QA Benchmark++ : Génération de jeux de données synthétiques multilingues ultra-légers et tests de fumée pour l'évaluation continue des LLM

Tiny QA Benchmark++: Ultra-Lightweight, Synthetic Multilingual Dataset Generation & Smoke-Tests for Continuous LLM Evaluation

May 17, 2025

Auteurs: Vincent Koc

cs.AI

Résumé

Tiny QA Benchmark++ (TQB++) propose une suite de tests ultra-légère et multilingue conçue pour offrir aux pipelines de grands modèles de langage (LLM) un ensemble de données de sécurité de type test unitaire, exécutable en quelques secondes à un coût minimal. Né des exigences de boucles de rétroaction rapides lors du développement du SDK d'optimisation de prompts Comet Opik, où l'attente de benchmarks lourds perturbe le flux de travail des développeurs, TQB++ associe un ensemble de référence de 52 éléments en anglais (moins de 20 kB) à un petit package PyPI générateur de données synthétiques basé sur LiteLLM, indépendant des fournisseurs. Ce générateur permet aux praticiens de créer leurs propres mini-packs dans n'importe quelle langue, domaine ou niveau de difficulté, tandis que dix packs prêts à l'emploi couvrent déjà l'arabe, le chinois, le français, l'allemand, le japonais, le coréen, le portugais, le russe, l'espagnol et le turc. Chaque ensemble de données est livré avec des métadonnées Croissant et des fichiers plug-and-play pour OpenAI-Evals, LangChain et les outils CI standards, permettant aux équipes d'intégrer directement des micro-benchmarks déterministes dans les portes de validation des pull requests, les boucles d'ingénierie de prompts et les tableaux de bord de production, sans impacter les budgets GPU. Une exécution complète de TQB++ n'ajoute que quelques secondes à la latence du pipeline, tout en signalant de manière fiable les erreurs de modèles de prompts, les dérives de tokeniseur et les effets secondaires du fine-tuning bien avant que des suites complètes comme MMLU ou BIG-Bench ne terminent leur configuration. L'ensemble du framework est publié pour accélérer l'assurance qualité continue et économe en ressources à travers l'écosystème de l'IA générative.

English

Tiny QA Benchmark++ (TQB++) presents an ultra-lightweight, multilingual smoke-test suite designed to give large-language-model (LLM) pipelines a unit-test style safety net dataset that runs in seconds with minimal cost. Born out of the tight feedback-loop demands building the Comet Opik prompt-optimization SDK, where waiting on heavyweight benchmarks breaks developer flow. TQB++ couples a 52-item English gold set (less than 20 kB) with a tiny synthetic-data generator pypi package built on provider-agnostic LiteLLM. The generator lets practitioners mint their own tiny packs in any language, domain, or difficulty, while ten ready-made packs already cover Arabic, Chinese, French, German, Japanese, Korean, Portuguese, Russian, Spanish, and Turkish. Every dataset ships with Croissant metadata and plug-and-play files for OpenAI-Evals, LangChain, and standard CI tools, so teams can drop deterministic micro-benchmarks directly into pull-request gates, prompt-engineering loops, and production dashboards without touching GPU budgets. A complete TQB++ run adds only a few seconds to pipeline latency yet reliably flags prompt-template errors, tokenizer drift, and fine-tuning side-effects long before full-scale suites like MMLU or BIG-Bench would finish configuring. The entire framework is released to accelerate continuous, resource-efficient quality assurance across the generative-AI ecosystem.