HARP: Учет колебаний при переформулировании в процессе вывода трансформера

HARP: Hesitation-Aware Reframing in Transformer Inference Pass

December 10, 2024

Авторы: Romain Storaï, Seung-won Hwang

cs.AI

Аннотация

Данная статья направлена на улучшение производительности больших языковых моделей путем учета переменного вычислительного спроса на этапах вывода, где некоторые токены требуют больше вычислительных ресурсов, чем другие. Мы представляем HARP, простое изменение "готового к использованию" прохода Transformer. Исходя из колебаний и эффекта формулирования в принятии решений, HARP выборочно применяет дополнительные вычисления, когда модель сталкивается с неопределенностью во время генерации токенов. Наш метод имитирует когнитивные процессы человека, приостанавливаясь на сложных точках принятия решений и переформулируя входы для другой перспективы. В отличие от других подходов, HARP не зависит от модели, не требует обучения и легко реализуем. Мы тщательно оцениваем наш метод на различных задачах и размерах моделей, демонстрируя улучшение производительности до +5,16%. Следует отметить, что HARP достигает этих улучшений, сохраняя времена вывода вдвое быстрее, чем поиск луча. Простой, но с значительными улучшениями, HARP предлагает практическое решение для повышения производительности языковых моделей на основе Transformer с минимальным вычислительным воздействием.

English

This paper aims to improve the performance of large language models by addressing the variable computational demands in inference steps, where some tokens require more computational resources than others. We present HARP, a simple modification to "off-the-shelf" Transformer forward pass. Drawing from hesitation and the framing effect in decision-making, HARP selectively applies additional computation when the model encounters uncertainty during token generation. Our method mimics human cognitive processes by pausing at difficult decision points and reframing inputs for a different perspective. Unlike other approaches, HARP is model-agnostic, training-free, and easy to implement. We thoroughly evaluate our method across various downstream tasks and model sizes, demonstrating performance improvements up to +5.16%. Notably, HARP achieves these gains while maintaining inference times twice faster than beam search. Simple and yet with significant gains, HARP offers a practical solution for enhancing the performance of Transformer-based language models with minimal computational impact.