Visualizando la Diversidad Lingüística de Conjuntos de Datos de Texto Sintetizados por Modelos de Lenguaje a Gran Escala

Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models

May 19, 2023

Autores: Emily Reif, Minsuk Kahng, Savvas Petridis

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) pueden utilizarse para generar conjuntos de datos más pequeños y refinados mediante el uso de indicaciones de pocos ejemplos (few-shot prompting) para evaluación comparativa, ajuste fino u otros casos de uso. Sin embargo, comprender y evaluar estos conjuntos de datos es difícil, y los modos de fallo de los datos generados por LLMs aún no se entienden completamente. Específicamente, los datos pueden ser repetitivos de maneras sorprendentes, no solo semánticamente, sino también sintáctica y léxicamente. Presentamos LinguisticLens, una novedosa herramienta de visualización interactiva para comprender y analizar la diversidad sintáctica de los conjuntos de datos generados por LLMs. LinguisticLens agrupa el texto a lo largo de ejes sintácticos, léxicos y semánticos. Admite la visualización jerárquica de un conjunto de datos de texto, permitiendo a los usuarios obtener rápidamente una visión general e inspeccionar ejemplos individuales. La demostración en vivo está disponible en shorturl.at/zHOUV.

English

Large language models (LLMs) can be used to generate smaller, more refined datasets via few-shot prompting for benchmarking, fine-tuning or other use cases. However, understanding and evaluating these datasets is difficult, and the failure modes of LLM-generated data are still not well understood. Specifically, the data can be repetitive in surprising ways, not only semantically but also syntactically and lexically. We present LinguisticLens, a novel inter-active visualization tool for making sense of and analyzing syntactic diversity of LLM-generated datasets. LinguisticLens clusters text along syntactic, lexical, and semantic axes. It supports hierarchical visualization of a text dataset, allowing users to quickly scan for an overview and inspect individual examples. The live demo is available at shorturl.at/zHOUV.