Grote Taalmodellen over Netwerken: Collaboratieve Intelligentie onder Resourcebeperkingen

Samenvatting

Grote taalmodellen (LLM's) transformeren de maatschappij en drijven toepassingen aan, van smartphone-assistenten tot autonoom rijden. Toch kunnen alleen cloudgebaseerde LLM-diensten niet voldoen aan een groeiende klasse van toepassingen, waaronder die welke werken onder intermitterende connectiviteit, subseconde latentiebudgetten, datarestricties op basis van locatie of aanhoudende hoog-volume inferentie. Implementatie op het apparaat wordt op zijn beurt beperkt door beperkte rekenkracht en geheugen. Geen enkel eindpunt kan over dit hele spectrum een hoge kwaliteit van dienstverlening bieden. Dit artikel richt zich op collaboratieve intelligentie, een paradigma waarin meerdere onafhankelijke LLM's, verdeeld over apparaat- en cloud-eindpunten, op taakniveau samenwerken via natuurlijke taal of gestructureerde berichten. Een dergelijke samenwerking streeft naar superieure responskwaliteit onder heterogene resourcebeperkingen op het gebied van rekenkracht, geheugen, communicatie en kosten over netwerkniveaus heen. We presenteren collaboratieve inferentie langs twee complementaire en samenstelbare dimensies: verticale apparaat-cloud samenwerking en horizontale multi-agent samenwerking, die in de praktijk kunnen worden gecombineerd tot hybride topologieën. Vervolgens onderzoeken we het leren samenwerken, waarbij we ingaan op het trainen van routeringsbeleid en het ontwikkelen van samenwerkingsvaardigheden tussen LLM's. Tot slot identificeren we open onderzoeksuitdagingen, waaronder schalen onder resourceheterogeniteit en betrouwbare collaboratieve intelligentie.

English

Large language models (LLMs) are transforming society, powering applications from smartphone assistants to autonomous driving. Yet cloud-based LLM services alone cannot serve a growing class of applications, including those operating under intermittent connectivity, sub-second latency budgets, data-residency constraints, or sustained high-volume inference. On-device deployment is in turn constrained by limited computation and memory. No single endpoint can deliver high-quality service across this spectrum. This article focuses on collaborative intelligence, a paradigm in which multiple independent LLMs distributed across device and cloud endpoints collaborate at the task level through natural language or structured messages. Such collaboration strives for superior response quality under heterogeneous resource constraints spanning computation, memory, communication, and cost across network tiers. We present collaborative inference along two complementary and composable dimensions: vertical device-cloud collaboration and horizontal multi-agent collaboration, which can be combined into hybrid topologies in practice. We then examine learning to collaborate, addressing the training of routing policies and the development of cooperative capabilities among LLMs. Finally, we identify open research challenges including scaling under resource heterogeneity and trustworthy collaborative intelligence.