LLM als Stille Post: Iterative Generierung verzerrt Informationen

LLM as a Broken Telephone: Iterative Generation Distorts Information

February 27, 2025

Autoren: Amr Mohamed, Mingmeng Geng, Michalis Vazirgiannis, Guokan Shang

cs.AI

Zusammenfassung

Da große Sprachmodelle zunehmend für Online-Inhalte verantwortlich sind, entstehen Bedenken hinsichtlich der Auswirkungen der wiederholten Verarbeitung ihrer eigenen Ausgaben. Inspiriert vom „Stille-Post“-Effekt in menschlichen Kommunikationsketten untersucht diese Studie, ob Sprachmodelle Informationen durch iterative Generierung ähnlich verzerren. Durch translationsbasierte Experimente stellen wir fest, dass sich Verzerrungen im Laufe der Zeit ansammeln, beeinflusst durch Sprachwahl und Kettenkomplexität. Während ein Qualitätsverlust unvermeidlich ist, kann dieser durch strategische Prompting-Techniken gemildert werden. Diese Erkenntnisse tragen zu Diskussionen über die langfristigen Auswirkungen der KI-vermittelten Informationsverbreitung bei und werfen wichtige Fragen zur Zuverlässigkeit von durch Sprachmodelle generierten Inhalten in iterativen Arbeitsabläufen auf.

English

As large language models are increasingly responsible for online content, concerns arise about the impact of repeatedly processing their own outputs. Inspired by the "broken telephone" effect in chained human communication, this study investigates whether LLMs similarly distort information through iterative generation. Through translation-based experiments, we find that distortion accumulates over time, influenced by language choice and chain complexity. While degradation is inevitable, it can be mitigated through strategic prompting techniques. These findings contribute to discussions on the long-term effects of AI-mediated information propagation, raising important questions about the reliability of LLM-generated content in iterative workflows.