Tiny QA Benchmark++: Generación de Conjuntos de Datos Sintéticos Multilingües Ultra-Ligeros y Pruebas de Humo para la Evaluación Continua de Modelos de Lenguaje

Tiny QA Benchmark++: Ultra-Lightweight, Synthetic Multilingual Dataset Generation & Smoke-Tests for Continuous LLM Evaluation

May 17, 2025

Autores: Vincent Koc

cs.AI

Resumen

Tiny QA Benchmark++ (TQB++) presenta un conjunto de pruebas ultra ligero y multilingüe diseñado para ofrecer a las canalizaciones de modelos de lenguaje grandes (LLM) un conjunto de datos de seguridad estilo pruebas unitarias que se ejecuta en segundos con un costo mínimo. Surgido de las demandas de ciclos de retroalimentación rápida en la construcción del SDK de optimización de prompts Comet Opik, donde la espera de benchmarks pesados interrumpe el flujo de desarrollo. TQB++ combina un conjunto de referencia en inglés de 52 ítems (menos de 20 kB) con un pequeño paquete de generación de datos sintéticos en pypi construido sobre LiteLLM, independiente del proveedor. El generador permite a los profesionales crear sus propios paquetes pequeños en cualquier idioma, dominio o nivel de dificultad, mientras que diez paquetes predefinidos ya cubren árabe, chino, francés, alemán, japonés, coreano, portugués, ruso, español y turco. Cada conjunto de datos incluye metadatos Croissant y archivos plug-and-play para OpenAI-Evals, LangChain y herramientas estándar de CI, permitiendo a los equipos integrar micro-benchmarks determinísticos directamente en las compuertas de pull-requests, ciclos de ingeniería de prompts y paneles de producción sin afectar los presupuestos de GPU. Una ejecución completa de TQB++ añade solo unos segundos a la latencia de la canalización, pero detecta de manera confiable errores en plantillas de prompts, desviaciones en tokenizadores y efectos secundarios de fine-tuning mucho antes de que suites completas como MMLU o BIG-Bench terminen de configurarse. El marco completo se ha liberado para acelerar la garantía de calidad continua y eficiente en recursos en todo el ecosistema de IA generativa.

English

Tiny QA Benchmark++ (TQB++) presents an ultra-lightweight, multilingual smoke-test suite designed to give large-language-model (LLM) pipelines a unit-test style safety net dataset that runs in seconds with minimal cost. Born out of the tight feedback-loop demands building the Comet Opik prompt-optimization SDK, where waiting on heavyweight benchmarks breaks developer flow. TQB++ couples a 52-item English gold set (less than 20 kB) with a tiny synthetic-data generator pypi package built on provider-agnostic LiteLLM. The generator lets practitioners mint their own tiny packs in any language, domain, or difficulty, while ten ready-made packs already cover Arabic, Chinese, French, German, Japanese, Korean, Portuguese, Russian, Spanish, and Turkish. Every dataset ships with Croissant metadata and plug-and-play files for OpenAI-Evals, LangChain, and standard CI tools, so teams can drop deterministic micro-benchmarks directly into pull-request gates, prompt-engineering loops, and production dashboards without touching GPU budgets. A complete TQB++ run adds only a few seconds to pipeline latency yet reliably flags prompt-template errors, tokenizer drift, and fine-tuning side-effects long before full-scale suites like MMLU or BIG-Bench would finish configuring. The entire framework is released to accelerate continuous, resource-efficient quality assurance across the generative-AI ecosystem.