Inferencia de Plataforma de Hardware y Software

Hardware and Software Platform Inference

November 7, 2024

Autores: Cheng Zhang, Hanna Foerster, Robert D. Mullins, Yiren Zhao, Ilia Shumailov

cs.AI

Resumen

Ahora es una práctica comercial común comprar acceso a la inferencia de grandes modelos de lenguaje (LLM, por sus siglas en inglés) en lugar de autohospedarse, debido a los significativos costos iniciales de infraestructura de hardware y energía. Sin embargo, como comprador, no existe un mecanismo para verificar la autenticidad del servicio anunciado, incluida la plataforma de hardware de servicio, por ejemplo, que realmente se esté utilizando un NVIDIA H100. Además, hay informes que sugieren que los proveedores de modelos pueden entregar modelos ligeramente diferentes a los anunciados, a menudo para hacerlos funcionar en hardware menos costoso. De esta manera, un cliente paga un precio premium por acceder a un modelo capaz en hardware más caro, pero termina siendo atendido por un modelo más barato (potencialmente menos capaz) en hardware más económico. En este documento presentamos la inferencia de plataforma de hardware y software (HSPI, por sus siglas en inglés) - un método para identificar la arquitectura subyacente y la pila de software de un modelo de aprendizaje automático (caja negra) basándose únicamente en su comportamiento de entrada-salida. Nuestro método aprovecha las diferencias inherentes de varias arquitecturas y compiladores para distinguir entre diferentes tipos y pilas de software. Al analizar los patrones numéricos en las salidas del modelo, proponemos un marco de clasificación capaz de identificar con precisión el hardware utilizado para la inferencia del modelo, así como la configuración de software subyacente. Nuestros hallazgos demuestran la viabilidad de inferir el tipo de hardware a partir de modelos de caja negra. Evaluamos HSPI frente a modelos servidos en diferentes hardware reales y encontramos que en un entorno de caja blanca podemos distinguir entre diferentes tipos con una precisión entre 83.9% y 100%. Incluso en un entorno de caja negra, logramos obtener resultados hasta tres veces más altos que la precisión de una suposición aleatoria.

English

It is now a common business practice to buy access to large language model (LLM) inference rather than self-host, because of significant upfront hardware infrastructure and energy costs. However, as a buyer, there is no mechanism to verify the authenticity of the advertised service including the serving hardware platform, e.g. that it is actually being served using an NVIDIA H100. Furthermore, there are reports suggesting that model providers may deliver models that differ slightly from the advertised ones, often to make them run on less expensive hardware. That way, a client pays premium for a capable model access on more expensive hardware, yet ends up being served by a (potentially less capable) cheaper model on cheaper hardware. In this paper we introduce \textbf{hardware and software platform inference (HSPI)} -- a method for identifying the underlying architecture and software stack of a (black-box) machine learning model solely based on its input-output behavior. Our method leverages the inherent differences of various architectures and compilers to distinguish between different types and software stacks. By analyzing the numerical patterns in the model's outputs, we propose a classification framework capable of accurately identifying the used for model inference as well as the underlying software configuration. Our findings demonstrate the feasibility of inferring type from black-box models. We evaluate HSPI against models served on different real hardware and find that in a white-box setting we can distinguish between different s with between 83.9% and 100% accuracy. Even in a black-box setting we are able to achieve results that are up to three times higher than random guess accuracy.