LLM como um Telefone Sem Fio: A Geração Iterativa Distorce a Informação

LLM as a Broken Telephone: Iterative Generation Distorts Information

February 27, 2025

Autores: Amr Mohamed, Mingmeng Geng, Michalis Vazirgiannis, Guokan Shang

cs.AI

Resumo

À medida que os modelos de linguagem de grande escala (LLMs) se tornam cada vez mais responsáveis pelo conteúdo online, surgem preocupações sobre o impacto de processar repetidamente suas próprias saídas. Inspirado pelo efeito do "telefone sem fio" na comunicação humana em cadeia, este estudo investiga se os LLMs distorcem informações de maneira semelhante por meio de geração iterativa. Por meio de experimentos baseados em tradução, descobrimos que a distorção se acumula ao longo do tempo, influenciada pela escolha do idioma e pela complexidade da cadeia. Embora a degradação seja inevitável, ela pode ser mitigada por meio de técnicas estratégicas de "prompting". Esses achados contribuem para as discussões sobre os efeitos de longo prazo da propagação de informações mediada por IA, levantando questões importantes sobre a confiabilidade do conteúdo gerado por LLMs em fluxos de trabalho iterativos.

English

As large language models are increasingly responsible for online content, concerns arise about the impact of repeatedly processing their own outputs. Inspired by the "broken telephone" effect in chained human communication, this study investigates whether LLMs similarly distort information through iterative generation. Through translation-based experiments, we find that distortion accumulates over time, influenced by language choice and chain complexity. While degradation is inevitable, it can be mitigated through strategic prompting techniques. These findings contribute to discussions on the long-term effects of AI-mediated information propagation, raising important questions about the reliability of LLM-generated content in iterative workflows.