Visualizando a Diversidade Linguística de Conjuntos de Dados de Texto Sintetizados por Modelos de Linguagem de Grande Escala
Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models
May 19, 2023
Autores: Emily Reif, Minsuk Kahng, Savvas Petridis
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs) podem ser usados para gerar conjuntos de dados menores e mais refinados por meio de prompts de poucos exemplos (few-shot) para benchmarking, ajuste fino (fine-tuning) ou outros casos de uso. No entanto, compreender e avaliar esses conjuntos de dados é desafiador, e os modos de falha dos dados gerados por LLMs ainda não são bem compreendidos. Especificamente, os dados podem ser repetitivos de maneiras surpreendentes, não apenas semanticamente, mas também sintaticamente e lexicalmente. Apresentamos o LinguisticLens, uma nova ferramenta de visualização interativa para compreender e analisar a diversidade sintática de conjuntos de dados gerados por LLMs. O LinguisticLens agrupa textos ao longo de eixos sintáticos, lexicais e semânticos. Ele suporta a visualização hierárquica de um conjunto de dados de texto, permitindo que os usuários façam uma varredura rápida para obter uma visão geral e inspecionem exemplos individuais. A demonstração ao vivo está disponível em shorturl.at/zHOUV.
English
Large language models (LLMs) can be used to generate smaller, more refined
datasets via few-shot prompting for benchmarking, fine-tuning or other use
cases. However, understanding and evaluating these datasets is difficult, and
the failure modes of LLM-generated data are still not well understood.
Specifically, the data can be repetitive in surprising ways, not only
semantically but also syntactically and lexically. We present LinguisticLens, a
novel inter-active visualization tool for making sense of and analyzing
syntactic diversity of LLM-generated datasets. LinguisticLens clusters text
along syntactic, lexical, and semantic axes. It supports hierarchical
visualization of a text dataset, allowing users to quickly scan for an overview
and inspect individual examples. The live demo is available at
shorturl.at/zHOUV.