Визуализация лингвистического разнообразия текстовых наборов данных, синтезированных крупными языковыми моделями

Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models

May 19, 2023

Авторы: Emily Reif, Minsuk Kahng, Savvas Petridis

cs.AI

Аннотация

Крупные языковые модели (LLMs) могут использоваться для создания более компактных и уточнённых наборов данных с помощью few-shot prompting для тестирования, тонкой настройки или других задач. Однако понимание и оценка таких наборов данных затруднены, а режимы сбоя данных, сгенерированных LLM, всё ещё недостаточно изучены. В частности, данные могут быть повторяющимися в неожиданных аспектах, не только семантически, но также синтаксически и лексически. Мы представляем LinguisticLens — новый интерактивный инструмент визуализации для анализа и понимания синтаксического разнообразия наборов данных, сгенерированных LLM. LinguisticLens группирует текст по синтаксическим, лексическим и семантическим осям. Он поддерживает иерархическую визуализацию текстового набора данных, позволяя пользователям быстро получить обзор и изучить отдельные примеры. Живая демонстрация доступна по ссылке shorturl.at/zHOUV.

English

Large language models (LLMs) can be used to generate smaller, more refined datasets via few-shot prompting for benchmarking, fine-tuning or other use cases. However, understanding and evaluating these datasets is difficult, and the failure modes of LLM-generated data are still not well understood. Specifically, the data can be repetitive in surprising ways, not only semantically but also syntactically and lexically. We present LinguisticLens, a novel inter-active visualization tool for making sense of and analyzing syntactic diversity of LLM-generated datasets. LinguisticLens clusters text along syntactic, lexical, and semantic axes. It supports hierarchical visualization of a text dataset, allowing users to quickly scan for an overview and inspect individual examples. The live demo is available at shorturl.at/zHOUV.