Tiny QA Benchmark++: Geração de Conjunto de Dados Sintético Multilíngue Ultra-Leve e Testes Preliminares para Avaliação Contínua de LLMs
Tiny QA Benchmark++: Ultra-Lightweight, Synthetic Multilingual Dataset Generation & Smoke-Tests for Continuous LLM Evaluation
May 17, 2025
Autores: Vincent Koc
cs.AI
Resumo
O Tiny QA Benchmark++ (TQB++) apresenta um conjunto de testes ultraleve e multilíngue projetado para fornecer uma rede de segurança no estilo de testes unitários para pipelines de modelos de linguagem de grande escala (LLM), que é executado em segundos com custo mínimo. Surgiu das demandas de ciclos de feedback rápidos durante o desenvolvimento do SDK de otimização de prompts Comet Opik, onde a espera por benchmarks pesados interrompe o fluxo de desenvolvimento. O TQB++ combina um conjunto de 52 itens em inglês (menos de 20 kB) com um pequeno pacote PyPI gerador de dados sintéticos, construído sobre o LiteLLM, que é independente de provedores. O gerador permite que os profissionais criem seus próprios conjuntos de dados em qualquer idioma, domínio ou nível de dificuldade, enquanto dez pacotes prontos já cobrem árabe, chinês, francês, alemão, japonês, coreano, português, russo, espanhol e turco. Cada conjunto de dados é fornecido com metadados Croissant e arquivos plug-and-play para OpenAI-Evals, LangChain e ferramentas padrão de CI, permitindo que as equipes integrem microbenchmarks determinísticos diretamente em portas de pull-request, loops de engenharia de prompts e painéis de produção sem afetar o orçamento de GPU. Uma execução completa do TQB++ adiciona apenas alguns segundos à latência do pipeline, mas sinaliza de forma confiável erros em modelos de prompt, desvios no tokenizador e efeitos colaterais de ajuste fino muito antes que conjuntos de testes em grande escala, como MMLU ou BIG-Bench, terminem de ser configurados. O framework completo foi lançado para acelerar a garantia de qualidade contínua e eficiente em termos de recursos em todo o ecossistema de IA generativa.
English
Tiny QA Benchmark++ (TQB++) presents an ultra-lightweight, multilingual
smoke-test suite designed to give large-language-model (LLM) pipelines a
unit-test style safety net dataset that runs in seconds with minimal cost. Born
out of the tight feedback-loop demands building the Comet Opik
prompt-optimization SDK, where waiting on heavyweight benchmarks breaks
developer flow. TQB++ couples a 52-item English gold set (less than 20 kB) with
a tiny synthetic-data generator pypi package built on provider-agnostic
LiteLLM. The generator lets practitioners mint their own tiny packs in any
language, domain, or difficulty, while ten ready-made packs already cover
Arabic, Chinese, French, German, Japanese, Korean, Portuguese, Russian,
Spanish, and Turkish. Every dataset ships with Croissant metadata and
plug-and-play files for OpenAI-Evals, LangChain, and standard CI tools, so
teams can drop deterministic micro-benchmarks directly into pull-request gates,
prompt-engineering loops, and production dashboards without touching GPU
budgets. A complete TQB++ run adds only a few seconds to pipeline latency yet
reliably flags prompt-template errors, tokenizer drift, and fine-tuning
side-effects long before full-scale suites like MMLU or BIG-Bench would finish
configuring. The entire framework is released to accelerate continuous,
resource-efficient quality assurance across the generative-AI ecosystem.