Visualisation de la diversité linguistique des ensembles de données textuelles synthétisés par les grands modèles de langage

Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models

May 19, 2023

Auteurs: Emily Reif, Minsuk Kahng, Savvas Petridis

cs.AI

Résumé

Les grands modèles de langage (LLMs) peuvent être utilisés pour générer des ensembles de données plus petits et plus raffinés via des prompts en few-shot, destinés à l'évaluation, au fine-tuning ou à d'autres cas d'utilisation. Cependant, comprendre et évaluer ces ensembles de données reste difficile, et les modes de défaillance des données générées par les LLMs ne sont pas encore bien compris. Plus précisément, les données peuvent être répétitives de manière surprenante, non seulement sur le plan sémantique, mais aussi syntaxique et lexical. Nous présentons LinguisticLens, un nouvel outil de visualisation interactive pour analyser et comprendre la diversité syntaxique des ensembles de données générés par les LLMs. LinguisticLens regroupe les textes selon des axes syntaxiques, lexicaux et sémantiques. Il permet une visualisation hiérarchique d'un ensemble de données textuelles, offrant aux utilisateurs une vue d'ensemble rapide et la possibilité d'inspecter des exemples individuels. La démonstration en direct est disponible à l'adresse shorturl.at/zHOUV.

English

Large language models (LLMs) can be used to generate smaller, more refined datasets via few-shot prompting for benchmarking, fine-tuning or other use cases. However, understanding and evaluating these datasets is difficult, and the failure modes of LLM-generated data are still not well understood. Specifically, the data can be repetitive in surprising ways, not only semantically but also syntactically and lexically. We present LinguisticLens, a novel inter-active visualization tool for making sense of and analyzing syntactic diversity of LLM-generated datasets. LinguisticLens clusters text along syntactic, lexical, and semantic axes. It supports hierarchical visualization of a text dataset, allowing users to quickly scan for an overview and inspect individual examples. The live demo is available at shorturl.at/zHOUV.