LLM을 통한 깨진 전화기 효과: 반복적 생성이 정보를 왜곡한다

LLM as a Broken Telephone: Iterative Generation Distorts Information

February 27, 2025

저자: Amr Mohamed, Mingmeng Geng, Michalis Vazirgiannis, Guokan Shang

cs.AI

초록

대규모 언어 모델이 온라인 콘텐츠 생성에 점점 더 큰 역할을 맡으면서, 이들이 자신의 출력을 반복적으로 처리함으로써 발생할 수 있는 영향에 대한 우려가 제기되고 있다. 인간의 연쇄적 의사소통에서 나타나는 "깨진 전화" 효과에서 영감을 받아, 본 연구는 대규모 언어 모델이 반복적 생성을 통해 유사하게 정보를 왜곡하는지 여부를 조사한다. 번역 기반 실험을 통해, 언어 선택과 연쇄 복잡성에 영향을 받으면서 왜곡이 시간이 지남에 따라 누적되는 것을 발견했다. 저하가 불가피하지만, 전략적인 프롬프팅 기법을 통해 이를 완화할 수 있다. 이러한 연구 결과는 AI 매개 정보 전파의 장기적 영향에 대한 논의에 기여하며, 반복적 워크플로우에서 대규모 언어 모델이 생성한 콘텐츠의 신뢰성에 대한 중요한 질문을 제기한다.

English

As large language models are increasingly responsible for online content, concerns arise about the impact of repeatedly processing their own outputs. Inspired by the "broken telephone" effect in chained human communication, this study investigates whether LLMs similarly distort information through iterative generation. Through translation-based experiments, we find that distortion accumulates over time, influenced by language choice and chain complexity. While degradation is inevitable, it can be mitigated through strategic prompting techniques. These findings contribute to discussions on the long-term effects of AI-mediated information propagation, raising important questions about the reliability of LLM-generated content in iterative workflows.