Model Context Protocol (MCP) Toolbeschrijvingen Stinken! Op Weg Naar Verbeterde AI-Agent Efficiëntie met Verrijkte MCP Toolbeschrijvingen
Model Context Protocol (MCP) Tool Descriptions Are Smelly! Towards Improving AI Agent Efficiency with Augmented MCP Tool Descriptions
February 16, 2026
Auteurs: Mohammed Mehedi Hasan, Hao Li, Gopi Krishnan Rajbahadur, Bram Adams, Ahmed E. Hassan
cs.AI
Samenvatting
Het Model Context Protocol (MCP) introduceert een standaardspecificatie die definieert hoe op Foundation Models (FM's) gebaseerde agenten moeten interageren met externe systemen door tools aan te roepen. Om echter het doel en de functies van een tool te begrijpen, zijn FM's afhankelijk van beschrijvingen in natuurlijke taal, waardoor deze beschrijvingen een cruciaal onderdeel vormen bij het leiden van FM's naar de optimale tool voor een bepaalde (deel)taak en het doorgeven van de juiste argumenten aan de tool. Hoewel gebreken of 'smells' in deze beschrijvingen FM-gebaseerde agenten kunnen misleiden, is de prevalentie en de gevolgen daarvan in het MCP-ecosysteem onduidelijk.
Daarom onderzoeken wij empirisch 856 tools verspreid over 103 MCP-servers, beoordelen we de kwaliteit van hun beschrijvingen en hun impact op de prestaties van de agent. Wij identificeren zes componenten van toolbeschrijvingen uit de literatuur, ontwikkelen een beoordelingskader met behulp van deze componenten, en formaliseren vervolgens 'tool description smells' op basis van dit kader. Door dit kader operationeel te maken via een op een FM gebaseerde scanner, constateren we dat 97,1% van de geanalyseerde toolbeschrijvingen ten minste één 'smell' bevat, waarbij 56% er niet in slaagt hun doel duidelijk te vermelden. Hoewel het verbeteren van deze beschrijvingen voor alle componenten het slagingspercentage van taken met een mediaan van 5,85 procentpunt verhoogt en de gedeeltelijke doelvoltooiing met 15,12% verbetert, verhoogt het ook het aantal uitvoeringsstappen met 67,46% en leidt het in 16,67% van de gevallen tot prestatievermindering. Deze resultaten geven aan dat het behalen van prestatieverbeteringen niet eenvoudig is; hoewel uitvoeringskosten als afruil kunnen fungeren, kan ook de uitvoeringscontext van invloed zijn. Verder tonen componentablaties aan dat compacte varianten van verschillende componentcombinaties vaak de betrouwbaarheid van het gedrag behouden, terwijl ze onnodige token-overhead verminderen, wat een efficiënter gebruik van het FM-contextvenster en lagere uitvoeringskosten mogelijk maakt.
English
The Model Context Protocol (MCP) introduces a standard specification that defines how Foundation Model (FM)-based agents should interact with external systems by invoking tools. However, to understand a tool's purpose and features, FMs rely on natural-language tool descriptions, making these descriptions a critical component in guiding FMs to select the optimal tool for a given (sub)task and to pass the right arguments to the tool. While defects or smells in these descriptions can misguide FM-based agents, their prevalence and consequences in the MCP ecosystem remain unclear.
Hence, we examine 856 tools spread across 103 MCP servers empirically, assess their description quality, and their impact on agent performance. We identify six components of tool descriptions from the literature, develop a scoring rubric utilizing these components, and then formalize tool description smells based on this rubric. By operationalizing this rubric through an FM-based scanner, we find that 97.1% of the analyzed tool descriptions contain at least one smell, with 56% failing to state their purpose clearly. While augmenting these descriptions for all components improves task success rates by a median of 5.85 percentage points and improves partial goal completion by 15.12%, it also increases the number of execution steps by 67.46% and regresses performance in 16.67% of cases. These results indicate that achieving performance gains is not straightforward; while execution cost can act as a trade-off, execution context can also impact. Furthermore, component ablations show that compact variants of different component combinations often preserve behavioral reliability while reducing unnecessary token overhead, enabling more efficient use of the FM context window and lower execution costs.