LLMは壊れた電話のよう：反復生成が情報を歪める

LLM as a Broken Telephone: Iterative Generation Distorts Information

February 27, 2025

著者: Amr Mohamed, Mingmeng Geng, Michalis Vazirgiannis, Guokan Shang

cs.AI

要旨

大規模言語モデルがオンラインコンテンツの生成において重要な役割を担うにつれ、それらが自らの出力を繰り返し処理することの影響について懸念が高まっている。本研究は、人間の連鎖的コミュニケーションにおける「伝言ゲーム」効果に着想を得て、大規模言語モデルが反復生成を通じて同様に情報を歪めるかどうかを調査する。翻訳を基にした実験を通じて、歪みが時間とともに蓄積され、言語選択や連鎖の複雑さに影響を受けることを明らかにした。劣化は避けられないものの、戦略的なプロンプト技術によって緩和できることが分かった。これらの知見は、AIを介した情報伝播の長期的影響に関する議論に貢献し、反復的なワークフローにおける大規模言語モデル生成コンテンツの信頼性について重要な問いを提起するものである。

English

As large language models are increasingly responsible for online content, concerns arise about the impact of repeatedly processing their own outputs. Inspired by the "broken telephone" effect in chained human communication, this study investigates whether LLMs similarly distort information through iterative generation. Through translation-based experiments, we find that distortion accumulates over time, influenced by language choice and chain complexity. While degradation is inevitable, it can be mitigated through strategic prompting techniques. These findings contribute to discussions on the long-term effects of AI-mediated information propagation, raising important questions about the reliability of LLM-generated content in iterative workflows.