Controleren van het cachen van prompts in taalmodel-API's

Auditing Prompt Caching in Language Model APIs

February 11, 2025

Auteurs: Chenchen Gu, Xiang Lisa Li, Rohith Kuditipudi, Percy Liang, Tatsunori Hashimoto

cs.AI

Samenvatting

Het cachen van prompts in grote taalmodellen (LLM's) resulteert in datagestuurde timingvariaties: gecachte prompts worden sneller verwerkt dan niet-gecachte prompts. Deze timingverschillen brengen het risico van side-channel timingaanvallen met zich mee. Bijvoorbeeld, als de cache wordt gedeeld tussen gebruikers, zou een aanvaller gecachte prompts kunnen identificeren aan de hand van snelle API-responstijden om informatie te achterhalen over prompts van andere gebruikers. Omdat prompt caching tot privacy-uitzonderingen kan leiden, is transparantie over de cachingbeleidsregels van API-providers belangrijk. Met dit doel ontwikkelen we en voeren we statistische audits uit om prompt caching te detecteren bij LLM API-providers in de echte wereld. We detecteren wereldwijde cache-deling tussen gebruikers bij zeven API-providers, waaronder OpenAI, wat kan leiden tot potentiële privacy-uitzonderingen met betrekking tot prompts van gebruikers. Timingvariaties als gevolg van prompt caching kunnen ook leiden tot het uitlekken van informatie over modelarchitectuur. We vinden met name bewijs dat het embeddingmodel van OpenAI een decoder-only Transformer is, wat eerder niet publiekelijk bekend was.

English

Prompt caching in large language models (LLMs) results in data-dependent timing variations: cached prompts are processed faster than non-cached prompts. These timing differences introduce the risk of side-channel timing attacks. For example, if the cache is shared across users, an attacker could identify cached prompts from fast API response times to learn information about other users' prompts. Because prompt caching may cause privacy leakage, transparency around the caching policies of API providers is important. To this end, we develop and conduct statistical audits to detect prompt caching in real-world LLM API providers. We detect global cache sharing across users in seven API providers, including OpenAI, resulting in potential privacy leakage about users' prompts. Timing variations due to prompt caching can also result in leakage of information about model architecture. Namely, we find evidence that OpenAI's embedding model is a decoder-only Transformer, which was previously not publicly known.