Reconocimiento propio en modelos de lenguaje

Self-Recognition in Language Models

July 9, 2024

Autores: Tim R. Davidson, Viacheslav Surkov, Veniamin Veselovsky, Giuseppe Russo, Robert West, Caglar Gulcehre

cs.AI

Resumen

Un número creciente de aplicaciones dependen de un pequeño conjunto de modelos de lenguaje (LMs) de código cerrado. Esta dependencia podría introducir nuevos riesgos de seguridad si los LMs desarrollan capacidades de auto-reconocimiento. Inspirados en los métodos de verificación de identidad humana, proponemos un enfoque novedoso para evaluar el auto-reconocimiento en LMs utilizando "preguntas de seguridad" generadas por el modelo. Nuestro test puede ser administrado externamente para hacer un seguimiento de los modelos más avanzados, ya que no requiere acceso a los parámetros internos del modelo o a las probabilidades de salida. Utilizamos nuestro test para examinar el auto-reconocimiento en diez de los LMs de código abierto y cerrado más capaces actualmente disponibles públicamente. Nuestros experimentos extensivos no encontraron evidencia empírica de auto-reconocimiento general o consistente en ningún LM examinado. En cambio, nuestros resultados sugieren que, dadas un conjunto de alternativas, los LMs buscan seleccionar la "mejor" respuesta, independientemente de su origen. Además, encontramos indicios de que las preferencias sobre qué modelos producen las mejores respuestas son consistentes entre los LMs. También descubrimos nuevas perspectivas sobre consideraciones de sesgo de posición para los LMs en entornos de elección múltiple.

English

A rapidly growing number of applications rely on a small set of closed-source language models (LMs). This dependency might introduce novel security risks if LMs develop self-recognition capabilities. Inspired by human identity verification methods, we propose a novel approach for assessing self-recognition in LMs using model-generated "security questions". Our test can be externally administered to keep track of frontier models as it does not require access to internal model parameters or output probabilities. We use our test to examine self-recognition in ten of the most capable open- and closed-source LMs currently publicly available. Our extensive experiments found no empirical evidence of general or consistent self-recognition in any examined LM. Instead, our results suggest that given a set of alternatives, LMs seek to pick the "best" answer, regardless of its origin. Moreover, we find indications that preferences about which models produce the best answers are consistent across LMs. We additionally uncover novel insights on position bias considerations for LMs in multiple-choice settings.