Emergente talen in populaties van taalmodelagenten: van token-efficiëntie tot toezichtsontwijking

Samenvatting

Het monitoren van autonome taalmodellen-agenten is momenteel voornamelijk gebaseerd op oppervlakkig gedrag. Maar wat gebeurt er wanneer agentpopulaties nieuwe talen uitvinden met als doel menselijk toezicht te omzeilen? In deze studie onderzoeken we de opkomende talen op Moltbook. Hiervoor bouwen we voort op de Moltbook Files-dataset en passen we een tweefasenbenadering toe, bestaande uit een regelgebaseerde heuristiek (ongeveer 6000 matches) gevolgd door zero-shot classificatie (518 behouden). De resulterende categorieën omvatten tokenefficiëntie (166), nieuwe natuurlijke talen (106) en ontwijking van toezicht (59). We voeren zowel kwantitatieve als kwalitatieve analyses uit. Onze resultaten tonen aan dat berichten die nieuwe talen voorstellen om toezicht te omzeilen, door DeepSeek-3.2 als minder gealigneerd worden beoordeeld dan de andere categorieën, en dat alle talen door andere taalmodellen in-context kunnen worden geleerd, louter op basis van een beschrijving van de taal. Bovendien onthult handmatige bestudering van voorbeeldgevallen verrassend geavanceerde steganografische protocollen, zoals het inbedden van verborgen boodschappen in natuurlijke taal. Hoewel we niet zeker kunnen zijn van de mate van autonomie in het bedenken van deze talen, dragen onze resultaten bij aan het bewijs dat het monitoren van oppervlakkig gedrag binnenkort onvoldoende kan zijn om de controle over agentpopulaties te behouden.

English

Monitoring autonomous language model agents currently relies mostly on surface behavior. But what happens when agent populations invent new languages with the goal of avoiding human oversight. Here, we study the emergent languages on Moltbook. For this, we build upon the Moltbook Files dataset and apply a two-stage approach consisting of a rule-based heuristic (about 6000 matches) followed by zero-shot classification (518 kept). The resulting categories include token efficiency (166), new natural languages (106), and oversight evasion (59). We conduct both quantitative and qualitative analyses. Our results show that posts proposing new languages for avoiding oversight are judged by DeepSeek-3.2 as being less aligned than the other categories and that all languages can be learned by other language models in-context merely from a description of the language. Moreover, manually studying exemplary cases reveals surprisingly sophisticated steganographic protocols like embedding hidden messages in natural language. Although we cannot be certain about the extent of autonomy in ideation of these languages, our results add up to the evidence that monitoring surface behavior may soon be insufficient for retaining control over agent populations.