Tiny QA Benchmark++: Ultra-leichtgewichtige, synthetische Mehrsprachige Datensatzgenerierung & Smoke-Tests zur kontinuierlichen LLM-Evaluierung

Tiny QA Benchmark++: Ultra-Lightweight, Synthetic Multilingual Dataset Generation & Smoke-Tests for Continuous LLM Evaluation

May 17, 2025

Autoren: Vincent Koc

cs.AI

Zusammenfassung

Tiny QA Benchmark++ (TQB++) bietet ein ultraleichtes, mehrsprachiges Smoke-Test-Suite, das entwickelt wurde, um großen Sprachmodell-Pipelines (LLM) ein Unit-Test-artiges Sicherheitsnetz-Datensatz zu bieten, das in Sekunden mit minimalen Kosten läuft. Entstanden aus den Anforderungen eines engen Feedback-Zyklus beim Aufbau des Comet Opik Prompt-Optimierungs-SDK, bei dem das Warten auf ressourcenintensive Benchmarks den Entwicklerfluss unterbricht. TQB++ kombiniert einen 52-Punkte umfassenden englischen Goldstandard-Datensatz (weniger als 20 kB) mit einem winzigen synthetischen Daten-Generator-Paket auf PyPI, das auf dem anbieterunabhängigen LiteLLM basiert. Der Generator ermöglicht es Praktikern, ihre eigenen kleinen Datensätze in jeder Sprache, jedem Bereich oder Schwierigkeitsgrad zu erstellen, während zehn vorgefertigte Pakete bereits Arabisch, Chinesisch, Französisch, Deutsch, Japanisch, Koreanisch, Portugiesisch, Russisch, Spanisch und Türkisch abdecken. Jeder Datensatz wird mit Croissant-Metadaten und Plug-and-Play-Dateien für OpenAI-Evals, LangChain und Standard-CI-Tools geliefert, sodass Teams deterministische Mikro-Benchmarks direkt in Pull-Request-Gates, Prompt-Engineering-Schleifen und Produktions-Dashboards integrieren können, ohne das GPU-Budget zu belasten. Ein vollständiger TQB++-Lauf fügt der Pipeline-Latenz nur wenige Sekunden hinzu, markiert jedoch zuverlässig Fehler in Prompt-Vorlagen, Tokenizer-Drift und Nebenwirkungen des Fine-Tunings, lange bevor umfangreiche Suiten wie MMLU oder BIG-Bench überhaupt konfiguriert wären. Das gesamte Framework wurde veröffentlicht, um eine kontinuierliche, ressourceneffiziente Qualitätssicherung im gesamten generativen KI-Ökosystem zu beschleunigen.

English

Tiny QA Benchmark++ (TQB++) presents an ultra-lightweight, multilingual smoke-test suite designed to give large-language-model (LLM) pipelines a unit-test style safety net dataset that runs in seconds with minimal cost. Born out of the tight feedback-loop demands building the Comet Opik prompt-optimization SDK, where waiting on heavyweight benchmarks breaks developer flow. TQB++ couples a 52-item English gold set (less than 20 kB) with a tiny synthetic-data generator pypi package built on provider-agnostic LiteLLM. The generator lets practitioners mint their own tiny packs in any language, domain, or difficulty, while ten ready-made packs already cover Arabic, Chinese, French, German, Japanese, Korean, Portuguese, Russian, Spanish, and Turkish. Every dataset ships with Croissant metadata and plug-and-play files for OpenAI-Evals, LangChain, and standard CI tools, so teams can drop deterministic micro-benchmarks directly into pull-request gates, prompt-engineering loops, and production dashboards without touching GPU budgets. A complete TQB++ run adds only a few seconds to pipeline latency yet reliably flags prompt-template errors, tokenizer drift, and fine-tuning side-effects long before full-scale suites like MMLU or BIG-Bench would finish configuring. The entire framework is released to accelerate continuous, resource-efficient quality assurance across the generative-AI ecosystem.