Вывод аппаратной и программной платформы

Hardware and Software Platform Inference

November 7, 2024

Авторы: Cheng Zhang, Hanna Foerster, Robert D. Mullins, Yiren Zhao, Ilia Shumailov

cs.AI

Аннотация

Теперь обычной практикой в бизнесе стало приобретение доступа к выводу больших языковых моделей (LLM) вместо самостоятельного хостинга из-за значительных начальных затрат на аппаратную инфраструктуру и энергозатраты. Однако для покупателя нет механизма для проверки подлинности рекламируемой услуги, включая обслуживающую аппаратную платформу, например, чтобы убедиться, что она действительно обслуживается с использованием NVIDIA H100. Более того, имеются отчеты, указывающие на то, что поставщики моделей могут поставлять модели, немного отличающиеся от рекламируемых, часто для того, чтобы они работали на более дешевом оборудовании. Таким образом, клиент платит премиум за доступ к способной модели на более дорогом оборудовании, но в итоге обслуживается (возможно, менее способной) более дешевой моделью на более дешевом оборудовании. В данной статье мы представляем метод аппаратного и программного вывода платформы (HSPI) - метод идентификации базовой архитектуры и программного стека (черного ящика) модели машинного обучения исключительно на основе ее входно-выходного поведения. Наш метод использует врожденные различия различных архитектур и компиляторов для различения различных типов и программных стеков. Анализируя числовые шаблоны в выходах модели, мы предлагаем классификационную структуру, способную точно идентифицировать используемую для вывода модели, а также базовую программную конфигурацию. Наши результаты демонстрируют возможность вывода типа из черных ящиков моделей. Мы оцениваем HSPI на моделях, обслуживаемых на разном реальном оборудовании, и обнаруживаем, что в белом ящике мы можем различить разные типы с точностью от 83,9% до 100%. Даже в черном ящике мы можем достичь результатов, которые в три раза превышают точность случайного угадывания.

English

It is now a common business practice to buy access to large language model (LLM) inference rather than self-host, because of significant upfront hardware infrastructure and energy costs. However, as a buyer, there is no mechanism to verify the authenticity of the advertised service including the serving hardware platform, e.g. that it is actually being served using an NVIDIA H100. Furthermore, there are reports suggesting that model providers may deliver models that differ slightly from the advertised ones, often to make them run on less expensive hardware. That way, a client pays premium for a capable model access on more expensive hardware, yet ends up being served by a (potentially less capable) cheaper model on cheaper hardware. In this paper we introduce \textbf{hardware and software platform inference (HSPI)} -- a method for identifying the underlying architecture and software stack of a (black-box) machine learning model solely based on its input-output behavior. Our method leverages the inherent differences of various architectures and compilers to distinguish between different types and software stacks. By analyzing the numerical patterns in the model's outputs, we propose a classification framework capable of accurately identifying the used for model inference as well as the underlying software configuration. Our findings demonstrate the feasibility of inferring type from black-box models. We evaluate HSPI against models served on different real hardware and find that in a white-box setting we can distinguish between different s with between 83.9% and 100% accuracy. Even in a black-box setting we are able to achieve results that are up to three times higher than random guess accuracy.