Inferência de Plataforma de Hardware e Software

Hardware and Software Platform Inference

November 7, 2024

Autores: Cheng Zhang, Hanna Foerster, Robert D. Mullins, Yiren Zhao, Ilia Shumailov

cs.AI

Resumo

Atualmente, é uma prática comercial comum comprar acesso à inferência de grandes modelos de linguagem (LLM) em vez de hospedá-los internamente, devido aos significativos custos iniciais de infraestrutura de hardware e energia. No entanto, como comprador, não há um mecanismo para verificar a autenticidade do serviço anunciado, incluindo a plataforma de hardware de servidores, por exemplo, se está sendo realmente servido usando um NVIDIA H100. Além disso, há relatos sugerindo que os provedores de modelos podem fornecer modelos ligeiramente diferentes dos anunciados, muitas vezes para fazê-los funcionar em hardware mais barato. Dessa forma, um cliente paga um prêmio por acesso a um modelo capaz em hardware mais caro, mas acaba sendo servido por um modelo mais barato (potencialmente menos capaz) em hardware mais barato. Neste artigo, introduzimos a \textbf{inferência de plataforma de hardware e software (HSPI)} - um método para identificar a arquitetura subjacente e a pilha de software de um modelo de aprendizado de máquina (caixa-preta) com base exclusivamente em seu comportamento de entrada e saída. Nosso método aproveita as diferenças inerentes de várias arquiteturas e compiladores para distinguir entre diferentes tipos e pilhas de software. Ao analisar os padrões numéricos nas saídas do modelo, propomos um framework de classificação capaz de identificar com precisão o hardware usado para a inferência do modelo, bem como a configuração de software subjacente. Nossas descobertas demonstram a viabilidade de inferir o tipo de hardware a partir de modelos caixa-preta. Avaliamos o HSPI em relação a modelos servidos em diferentes hardwares reais e descobrimos que em um ambiente de caixa-branca podemos distinguir entre diferentes tipos com uma precisão entre 83,9% e 100%. Mesmo em um ambiente de caixa-preta, conseguimos obter resultados até três vezes mais altos do que a precisão de um palpite aleatório.

English

It is now a common business practice to buy access to large language model (LLM) inference rather than self-host, because of significant upfront hardware infrastructure and energy costs. However, as a buyer, there is no mechanism to verify the authenticity of the advertised service including the serving hardware platform, e.g. that it is actually being served using an NVIDIA H100. Furthermore, there are reports suggesting that model providers may deliver models that differ slightly from the advertised ones, often to make them run on less expensive hardware. That way, a client pays premium for a capable model access on more expensive hardware, yet ends up being served by a (potentially less capable) cheaper model on cheaper hardware. In this paper we introduce \textbf{hardware and software platform inference (HSPI)} -- a method for identifying the underlying architecture and software stack of a (black-box) machine learning model solely based on its input-output behavior. Our method leverages the inherent differences of various architectures and compilers to distinguish between different types and software stacks. By analyzing the numerical patterns in the model's outputs, we propose a classification framework capable of accurately identifying the used for model inference as well as the underlying software configuration. Our findings demonstrate the feasibility of inferring type from black-box models. We evaluate HSPI against models served on different real hardware and find that in a white-box setting we can distinguish between different s with between 83.9% and 100% accuracy. Even in a black-box setting we are able to achieve results that are up to three times higher than random guess accuracy.