LLM als een gebroken telefoon: Iteratieve generatie vervormt informatie

LLM as a Broken Telephone: Iterative Generation Distorts Information

February 27, 2025

Auteurs: Amr Mohamed, Mingmeng Geng, Michalis Vazirgiannis, Guokan Shang

cs.AI

Samenvatting

Naarmate grote taalmodellen steeds meer verantwoordelijk worden voor online content, ontstaan er zorgen over de impact van het herhaaldelijk verwerken van hun eigen uitvoer. Geïnspireerd door het "gebroken telefoon"-effect in geketende menselijke communicatie, onderzoekt deze studie of taalmodellen informatie op een vergelijkbare manier vervormen door iteratieve generatie. Via vertaalgebaseerde experimenten ontdekken we dat vervorming zich in de loop van de tijd opstapelt, beïnvloed door taalvoorkeur en ketencomplexiteit. Hoewel degradatie onvermijdelijk is, kan deze worden beperkt door strategische promptingtechnieken. Deze bevindingen dragen bij aan discussies over de langetermijneffecten van AI-gemedieerde informatieverspreiding en roepen belangrijke vragen op over de betrouwbaarheid van door taalmodellen gegenereerde content in iteratieve workflows.

English

As large language models are increasingly responsible for online content, concerns arise about the impact of repeatedly processing their own outputs. Inspired by the "broken telephone" effect in chained human communication, this study investigates whether LLMs similarly distort information through iterative generation. Through translation-based experiments, we find that distortion accumulates over time, influenced by language choice and chain complexity. While degradation is inevitable, it can be mitigated through strategic prompting techniques. These findings contribute to discussions on the long-term effects of AI-mediated information propagation, raising important questions about the reliability of LLM-generated content in iterative workflows.