От циклов к ошибка: запасные поведенческие модели языка в условиях неопределенности

From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty

July 8, 2024

Авторы: Maor Ivgi, Ori Yoran, Jonathan Berant, Mor Geva

cs.AI

Аннотация

Большие языковые модели (LLM) часто проявляют нежелательные поведенческие черты, такие как галлюцинации и повторы последовательностей. Мы предлагаем рассматривать эти черты как запасные варианты, которые модели проявляют в условиях неопределенности, и исследуем связь между ними. Мы классифицируем запасные варианты - повторы последовательностей, деградированный текст и галлюцинации - и подробно анализируем их в моделях из одной семьи, отличающихся количеством токенов предварительного обучения, количеством параметров или включением обучения по инструкциям. Наши эксперименты показывают четкую и последовательную упорядоченность запасных вариантов по всем этим осям: чем более продвинута LLM (т.е. обучена на большем количестве токенов, имеет больше параметров или настроена на инструкции), тем ее запасное поведение сдвигается от повторов последовательностей к деградированному тексту, а затем к галлюцинациям. Более того, тот же порядок наблюдается в течение одного поколения, даже для лучших моделей; с увеличением неопределенности модели переходят от генерации галлюцинаций к производству деградированного текста, а затем к повторам последовательностей. Наконец, мы демонстрируем, что хотя общие методы декодирования, такие как случайная выборка, могут уменьшить некоторые нежелательные черты, такие как повторы последовательностей, они увеличивают более сложные для обнаружения галлюцинации.

English

Large language models (LLMs) often exhibit undesirable behaviors, such as hallucinations and sequence repetitions. We propose to view these behaviors as fallbacks that models exhibit under uncertainty, and investigate the connection between them. We categorize fallback behaviors -- sequence repetitions, degenerate text, and hallucinations -- and extensively analyze them in models from the same family that differ by the amount of pretraining tokens, parameter count, or the inclusion of instruction-following training. Our experiments reveal a clear and consistent ordering of fallback behaviors, across all these axes: the more advanced an LLM is (i.e., trained on more tokens, has more parameters, or instruction-tuned), its fallback behavior shifts from sequence repetitions, to degenerate text, and then to hallucinations. Moreover, the same ordering is observed throughout a single generation, even for the best-performing models; as uncertainty increases, models shift from generating hallucinations to producing degenerate text and then sequence repetitions. Lastly, we demonstrate that while common decoding techniques, such as random sampling, might alleviate some unwanted behaviors like sequence repetitions, they increase harder-to-detect hallucinations.