Sobre a Avaliação Não Interativa de Tradutores de Comunicação Animal

On Non-interactive Evaluation of Animal Communication Translators

October 17, 2025

Autores: Orr Paradise, David F. Gruber, Adam Tauman Kalai

cs.AI

Resumo

Se você tivesse um tradutor de Baleia-Inglês baseado em IA, como poderia validar se ele está funcionando ou não? Seria necessário interagir com os animais ou depender de observações fundamentadas, como a temperatura? Apresentamos evidências teóricas e experimentais de prova de conceito que sugerem que a interação e até mesmo as observações podem não ser necessárias para idiomas suficientemente complexos. Pode ser possível avaliar tradutores apenas com base em suas saídas em inglês, oferecendo vantagens potenciais em termos de segurança, ética e custo. Este é um exemplo de avaliação de qualidade de tradução automática (MTQE, do inglês *Machine Translation Quality Evaluation*) sem qualquer tradução de referência disponível. Um desafio crucial é identificar "alucinações", traduções falsas que podem parecer fluentes e plausíveis. Propomos o uso de tradução segmento por segmento em conjunto com o clássico teste de embaralhamento de NLP para avaliar tradutores. A ideia é traduzir a comunicação animal, turno por turno, e avaliar com que frequência as traduções resultantes fazem mais sentido em ordem do que permutadas. Experimentos de prova de conceito em idiomas humanos com escassez de dados e idiomas construídos demonstram a utilidade potencial dessa metodologia de avaliação. Esses experimentos com idiomas humanos servem apenas para validar nossa métrica sem referência sob escassez de dados. Descobriu-se que ela se correlaciona altamente com uma avaliação padrão baseada em traduções de referência, que estão disponíveis em nossos experimentos. Também realizamos uma análise teórica sugerindo que a interação pode não ser necessária nem eficiente nos estágios iniciais de aprendizado de tradução.

English

If you had an AI Whale-to-English translator, how could you validate whether or not it is working? Does one need to interact with the animals or rely on grounded observations such as temperature? We provide theoretical and proof-of-concept experimental evidence suggesting that interaction and even observations may not be necessary for sufficiently complex languages. One may be able to evaluate translators solely by their English outputs, offering potential advantages in terms of safety, ethics, and cost. This is an instance of machine translation quality evaluation (MTQE) without any reference translations available. A key challenge is identifying ``hallucinations,'' false translations which may appear fluent and plausible. We propose using segment-by-segment translation together with the classic NLP shuffle test to evaluate translators. The idea is to translate animal communication, turn by turn, and evaluate how often the resulting translations make more sense in order than permuted. Proof-of-concept experiments on data-scarce human languages and constructed languages demonstrate the potential utility of this evaluation methodology. These human-language experiments serve solely to validate our reference-free metric under data scarcity. It is found to correlate highly with a standard evaluation based on reference translations, which are available in our experiments. We also perform a theoretical analysis suggesting that interaction may not be necessary nor efficient in the early stages of learning to translate.