Visualisierung der linguistischen Vielfalt von Textdatensätzen, die durch große Sprachmodelle synthetisiert wurden
Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models
May 19, 2023
Autoren: Emily Reif, Minsuk Kahng, Savvas Petridis
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) können verwendet werden, um kleinere, verfeinerte Datensätze durch Few-Shot-Prompting für Benchmarking, Feinabstimmung oder andere Anwendungsfälle zu generieren. Allerdings ist das Verständnis und die Bewertung dieser Datensätze schwierig, und die Fehlermodi von LLM-generierten Daten sind noch nicht gut verstanden. Insbesondere können die Daten auf überraschende Weise repetitiv sein, nicht nur semantisch, sondern auch syntaktisch und lexikalisch. Wir präsentieren LinguisticLens, ein neuartiges interaktives Visualisierungstool, um die syntaktische Vielfalt von LLM-generierten Datensätzen zu verstehen und zu analysieren. LinguisticLens clustert Text entlang syntaktischer, lexikalischer und semantischer Achsen. Es unterstützt die hierarchische Visualisierung eines Textdatensatzes, wodurch Benutzer schnell einen Überblick erhalten und einzelne Beispiele inspizieren können. Die Live-Demo ist verfügbar unter shorturl.at/zHOUV.
English
Large language models (LLMs) can be used to generate smaller, more refined
datasets via few-shot prompting for benchmarking, fine-tuning or other use
cases. However, understanding and evaluating these datasets is difficult, and
the failure modes of LLM-generated data are still not well understood.
Specifically, the data can be repetitive in surprising ways, not only
semantically but also syntactically and lexically. We present LinguisticLens, a
novel inter-active visualization tool for making sense of and analyzing
syntactic diversity of LLM-generated datasets. LinguisticLens clusters text
along syntactic, lexical, and semantic axes. It supports hierarchical
visualization of a text dataset, allowing users to quickly scan for an overview
and inspect individual examples. The live demo is available at
shorturl.at/zHOUV.