LayerCake: Токен-ориентированное контрастное декодирование внутри слоев крупных языковых моделей
LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers
July 6, 2025
Авторы: Jingze Zhu, Yongliang Wu, Wenbo Zhu, Jiawang Cao, Yanqiang Zheng, Jiawei Chen, Xu Yang, Bernt Schiele, Jonas Fischer, Xinting Hu
cs.AI
Аннотация
Крупные языковые модели (LLMs) демонстрируют высокие результаты в понимании и генерации естественного языка, однако остаются уязвимыми к фактическим ошибкам, что ограничивает их надежность в задачах, требующих глубоких знаний. Хотя стратегии, применяемые на этапе декодирования, предлагают перспективное и эффективное решение без необходимости обучения, существующие методы обычно рассматривают сигналы на уровне токенов и слоев изолированно, игнорируя их совместную динамику. В данной работе мы представляем метод контрастного декодирования, учитывающий токены и локализующий слои, который связывает определенные типы токенов с наиболее влиятельными слоями трансформера для улучшения генерации фактов. С помощью эмпирического анализа внимания мы выявляем два ключевых паттерна: знаки препинания получают доминирующее внимание на ранних слоях, в то время как концептуальные токены управляют семантическим рассуждением на промежуточных слоях. Избирательно подавляя внимание к этим типам токенов на соответствующих глубинах, мы добиваемся индукции контролируемого ухудшения фактов и получаем контрастные сигналы для управления финальным декодированием. Наш метод не требует дополнительного обучения или модификации модели, а эксперименты показывают, что он последовательно улучшает точность фактов в различных LLMs и на различных тестовых наборах.
English
Large language models (LLMs) excel at natural language understanding and
generation but remain vulnerable to factual errors, limiting their reliability
in knowledge-intensive tasks. While decoding-time strategies provide a
promising efficient solution without training, existing methods typically treat
token-level and layer-level signals in isolation, overlooking the joint
dynamics between them. In this work, we introduce a token-aware,
layer-localized contrastive decoding method that aligns specific token types
with their most influential transformer layers to improve factual generation.
Through empirical attention analysis, we identify two key patterns: punctuation
tokens receive dominant attention in early layers, while conceptual tokens
govern semantic reasoning in intermediate layers. By selectively suppressing
attention to these token types at their respective depths, we achieve the
induction of controlled factual degradation and derive contrastive signals to
guide the final factual decoding. Our method requires no additional training or
model modification, and experiments demonstrate that our method consistently
improves factuality across multiple LLMs and various benchmarks.