Enmascarado por Consenso: Desentrañando el Conocimiento Privilegiado en la Corrección de los LLM

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

April 14, 2026

Autores: Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

cs.AI

Resumen

Los humanos utilizan la introspección para evaluar su comprensión a través de estados internos privados inaccesibles para observadores externos. Investigamos si los grandes modelos de lenguaje poseen un conocimiento privilegiado similar sobre la corrección de las respuestas, información no disponible mediante observación externa. Entrenamos clasificadores de corrección en representaciones de preguntas derivadas tanto de los estados ocultos propios de un modelo como de modelos externos, probando si las auto-representaciones ofrecen una ventaja de rendimiento. En la evaluación estándar, no encontramos ventaja alguna: las auto-sondas rinden de manera comparable a las sondas de modelos pares. Nuestra hipótesis es que esto se debe al alto acuerdo inter-modelo sobre la corrección de las respuestas. Para aislar el conocimiento privilegiado genuino, evaluamos en subconjuntos de desacuerdo, donde los modelos producen predicciones conflictivas. Aquí, descubrimos un conocimiento privilegiado específico del dominio: las auto-representaciones superan consistentemente a las representaciones de pares en tareas de conocimiento factual, pero no muestran ventaja en razonamiento matemático. Además, localizamos esta asimetría de dominio a través de las capas del modelo, encontrando que la ventaja factual emerge progresivamente desde las capas iniciales e intermedias en adelante, lo cual es consistente con la recuperación de memoria específica del modelo, mientras que el razonamiento matemático no muestra una ventaja consistente en ninguna profundidad.

English

Humans use introspection to evaluate their understanding through private internal states inaccessible to external observers. We investigate whether large language models possess similar privileged knowledge about answer correctness, information unavailable through external observation. We train correctness classifiers on question representations from both a model's own hidden states and external models, testing whether self-representations provide a performance advantage. On standard evaluation, we find no advantage: self-probes perform comparably to peer-model probes. We hypothesize this is due to high inter-model agreement of answer correctness. To isolate genuine privileged knowledge, we evaluate on disagreement subsets, where models produce conflicting predictions. Here, we discover domain-specific privileged knowledge: self-representations consistently outperform peer representations in factual knowledge tasks, but show no advantage in math reasoning. We further localize this domain asymmetry across model layers, finding that the factual advantage emerges progressively from early-to-mid layers onward, consistent with model-specific memory retrieval, while math reasoning shows no consistent advantage at any depth.