Het visualiseren van linguïstische diversiteit in tekstdatasets gegenereerd door grote taalmodellen

Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models

May 19, 2023

Auteurs: Emily Reif, Minsuk Kahng, Savvas Petridis

cs.AI

Samenvatting

Grote taalmodellen (LLM's) kunnen worden gebruikt om kleinere, meer verfijnde datasets te genereren via few-shot prompting voor benchmarking, fine-tuning of andere toepassingen. Het begrijpen en evalueren van deze datasets is echter moeilijk, en de faalmodi van door LLM gegenereerde data zijn nog steeds niet goed begrepen. Specifiek kan de data op verrassende manieren repetitief zijn, niet alleen semantisch maar ook syntactisch en lexicaal. Wij presenteren LinguisticLens, een nieuw interactief visualisatietool om syntactische diversiteit van door LLM gegenereerde datasets te begrijpen en te analyseren. LinguisticLens clustert tekst langs syntactische, lexicale en semantische assen. Het ondersteunt hiërarchische visualisatie van een tekstdataset, waardoor gebruikers snel een overzicht kunnen scannen en individuele voorbeelden kunnen inspecteren. De live demo is beschikbaar op shorturl.at/zHOUV.

English

Large language models (LLMs) can be used to generate smaller, more refined datasets via few-shot prompting for benchmarking, fine-tuning or other use cases. However, understanding and evaluating these datasets is difficult, and the failure modes of LLM-generated data are still not well understood. Specifically, the data can be repetitive in surprising ways, not only semantically but also syntactically and lexically. We present LinguisticLens, a novel inter-active visualization tool for making sense of and analyzing syntactic diversity of LLM-generated datasets. LinguisticLens clusters text along syntactic, lexical, and semantic axes. It supports hierarchical visualization of a text dataset, allowing users to quickly scan for an overview and inspect individual examples. The live demo is available at shorturl.at/zHOUV.