Schema's vormgeven via taalrepresentatie als de volgende grens voor de uitbreiding van LLM-intelligentie

Samenvatting

Hoewel natuurlijke taal het standaardmedium is voor grote taalmodellen (LLM's), zorgt de beperkte expressieve capaciteit ervan voor een diepgaand knelpunt bij complexe probleemoplossing. Terwijl recente vooruitgang in AI sterk heeft gesteund op schaling, garandeert het louter internaliseren van kennis niet de effectieve toepassing ervan. Door taalrepresentatie te definiëren als de taalkundige en symbolische constructies die worden gebruikt om de echte wereld in kaart te brengen en te modelleren, betoogt dit artikel dat het vormgeven van schema's door middel van geavanceerde taalrepresentatie de volgende grens is voor het uitbreiden van LLM-intelligentie. Wij stellen dat de kennisactivering en -organisatie van een LLM – het schema – sterk afhangt van de structurele en symbolische verfijning van de taal die wordt gebruikt om een bepaalde taak weer te geven. Dit artikel levert zowel een formalisering van deze bewering als het empirische bewijs om deze te ondersteunen. Met een nieuwe formalisering presenteren we meerdere bewijslijnen ter ondersteuning van ons standpunt: Ten eerste bespreken we recente empirische praktijken en opkomende methodologieën die de aanzienlijke prestatieverbeteringen aantonen die haalbaar zijn door bewust ontwerp van taalrepresentatie, zelfs zonder wijziging van modelparameters of -schaal. Ten tweede voeren we gecontroleerde experimenten uit die aantonen dat de prestaties van LLM's en hun interne feature-activaties variëren onder verschillende taalrepresentaties van dezelfde onderliggende taak. Samen benadrukken deze bevindingen het ontwerp van taalrepresentatie als een veelbelovende richting voor toekomstig onderzoek.

English

Although natural language is the default medium for Large Language Models (LLMs), its limited expressive capacity creates a profound bottleneck for complex problem-solving. While recent advancements in AI have relied heavily on scaling, merely internalizing knowledge does not guarantee its effective application. Defining language representation as the linguistic and symbolic constructs used to map and model the real world, this paper argues that shaping schemas through advanced language representation is the next frontier for expanding LLM intelligence. We posit that an LLM's knowledge activation and organization -- its schema -- depends heavily on the structural and symbolic sophistication of the language used to represent a given task. This paper contributes both a formalization of this claim and the empirical evidence to support it. With a new formalization, we present multiple lines of evidence to support our position: Firstly, we review recent empirical practices and emerging methodologies that demonstrate the substantial performance gains achievable through deliberate language representation design, even without modifying model parameters or scale. Secondly, we conduct controlled experiments showing that LLM performance and its internal feature activations vary under different language representations of the same underlying task. Together, these findings highlight language representation design as a promising direction for future research.