За пределами поверхности: исследование LLaMA на разных масштабах и слоях

Beyond Surface: Probing LLaMA Across Scales and Layers

December 7, 2023

Авторы: Nuo Chen, Ning Wu, Shining Liang, Ming Gong, Linjun Shou, Dongmei Zhang, Jia Li

cs.AI

Аннотация

В данной статье представлен углубленный анализ крупных языковых моделей (LLMs), с акцентом на LLaMA — известную открытую базовую модель в области обработки естественного языка. Вместо оценки LLaMA через её генеративные способности мы разработали задачи с множественным выбором, чтобы исследовать её внутреннее понимание в сложных задачах, таких как логическое рассуждение и вычисления. Мы анализируем модель как горизонтально, сравнивая различные размеры, так и вертикально, оценивая различные слои. На основе разработанных задач мы выявили несколько ключевых и необычных результатов: (1) Горизонтально, увеличение размеров модели почти не приводит к автоматическому приобретению дополнительных знаний или вычислительных способностей. Однако оно может улучшить способности к рассуждению, особенно в решении математических задач, и помогает снизить количество галлюцинаций, но только после достижения определённых пороговых размеров; (2) В вертикальном анализе нижние слои LLaMA демонстрируют недостаток арифметических и фактических знаний, проявляя логическое мышление, многоязычные и распознавательные способности, тогда как верхние слои содержат большую часть вычислительной мощности и знаний о реальном мире.

English

This paper presents an in-depth analysis of Large Language Models (LLMs), focusing on LLaMA, a prominent open-source foundational model in natural language processing. Instead of assessing LLaMA through its generative output, we design multiple-choice tasks to probe its intrinsic understanding in high-order tasks such as reasoning and computation. We examine the model horizontally, comparing different sizes, and vertically, assessing different layers. We unveil several key and uncommon findings based on the designed probing tasks: (1) Horizontally, enlarging model sizes almost could not automatically impart additional knowledge or computational prowess. Instead, it can enhance reasoning abilities, especially in math problem solving, and helps reduce hallucinations, but only beyond certain size thresholds; (2) In vertical analysis, the lower layers of LLaMA lack substantial arithmetic and factual knowledge, showcasing logical thinking, multilingual and recognitive abilities, with top layers housing most computational power and real-world knowledge.