Скрыто консенсусом: разграничение привилегированных знаний в корректности больших языковых моделей

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

April 14, 2026

Авторы: Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

cs.AI

Аннотация

Люди используют интроспекцию для оценки собственного понимания через внутренние состояния, недоступные внешним наблюдателям. Мы исследуем, обладают ли большие языковые модели аналогичным привилегированным знанием о правильности ответов — информацией, недоступной при внешнем наблюдении. Мы обучаем классификаторы правильности на репрезентациях вопросов, полученных как из скрытых состояний самой модели, так и из внешних моделей, проверяя, дают ли саморепрезентации преимущество в производительности. При стандартной оценке мы не обнаруживаем преимущества: само-зонды работают сопоставимо с зондами других моделей. Мы предполагаем, что это связано с высоким межмодельным согласием по правильности ответов. Чтобы выявить подлинное привилегированное знание, мы проводим оценку на подмножествах разногласий, где модели выдают противоречивые предсказания. Здесь мы обнаруживаем доменно-специфическое привилегированное знание: саморепрезентации последовательно превосходят репрезентации других моделей в задачах на фактологические знания, но не показывают преимущества в математических рассуждениях. Мы также локализуем эту асимметрию по доменам по слоям модели, обнаруживая, что преимущество в фактологических задачах прогрессивно проявляется, начиная с ранних и средних слоев, что согласуется с механизмом извлечения модельно-специфических воспоминаний, в то время как в математических рассуждениях не наблюдается устойчивого преимущества на любой глубине.

English

Humans use introspection to evaluate their understanding through private internal states inaccessible to external observers. We investigate whether large language models possess similar privileged knowledge about answer correctness, information unavailable through external observation. We train correctness classifiers on question representations from both a model's own hidden states and external models, testing whether self-representations provide a performance advantage. On standard evaluation, we find no advantage: self-probes perform comparably to peer-model probes. We hypothesize this is due to high inter-model agreement of answer correctness. To isolate genuine privileged knowledge, we evaluate on disagreement subsets, where models produce conflicting predictions. Here, we discover domain-specific privileged knowledge: self-representations consistently outperform peer representations in factual knowledge tasks, but show no advantage in math reasoning. We further localize this domain asymmetry across model layers, finding that the factual advantage emerges progressively from early-to-mid layers onward, consistent with model-specific memory retrieval, while math reasoning shows no consistent advantage at any depth.