動物コミュニケーション翻訳機の非対話的評価に関する研究

On Non-interactive Evaluation of Animal Communication Translators

October 17, 2025

著者: Orr Paradise, David F. Gruber, Adam Tauman Kalai

cs.AI

要旨

もしAIによるクジラ語から英語への翻訳機を持っていたとして、それが機能しているかどうかをどのように検証できるだろうか？動物との相互作用や、温度などの実証的な観測に頼る必要があるのだろうか？本論文では、理論的かつ概念実証的な実験的証拠を提示し、十分に複雑な言語においては、相互作用や観測さえも必要ない可能性を示唆する。翻訳機の評価は、その英語出力のみに基づいて行うことが可能であり、安全性、倫理性、コストの面で潜在的な利点を提供する。これは、参照訳文が利用できない状況での機械翻訳品質評価（MTQE）の一例である。主要な課題は、「幻覚」、つまり流暢で妥当に見える誤った翻訳を識別することである。我々は、セグメントごとの翻訳と古典的なNLPシャッフルテストを組み合わせて翻訳機を評価することを提案する。このアイデアは、動物のコミュニケーションを順番に翻訳し、その結果の翻訳が順序を入れ替えた場合よりも意味をなす頻度を評価するものである。データが不足している人間の言語や人工言語を用いた概念実証実験は、この評価方法論の有用性を示している。これらの人間の言語実験は、データ不足下での参照訳文なしの評価指標を検証するためにのみ行われた。この指標は、我々の実験で利用可能な参照訳文に基づく標準的な評価と高い相関があることがわかった。また、翻訳を学ぶ初期段階において、相互作用が必ずしも必要ではなく、効率的でもないことを示唆する理論的分析も行った。

English

If you had an AI Whale-to-English translator, how could you validate whether or not it is working? Does one need to interact with the animals or rely on grounded observations such as temperature? We provide theoretical and proof-of-concept experimental evidence suggesting that interaction and even observations may not be necessary for sufficiently complex languages. One may be able to evaluate translators solely by their English outputs, offering potential advantages in terms of safety, ethics, and cost. This is an instance of machine translation quality evaluation (MTQE) without any reference translations available. A key challenge is identifying ``hallucinations,'' false translations which may appear fluent and plausible. We propose using segment-by-segment translation together with the classic NLP shuffle test to evaluate translators. The idea is to translate animal communication, turn by turn, and evaluate how often the resulting translations make more sense in order than permuted. Proof-of-concept experiments on data-scarce human languages and constructed languages demonstrate the potential utility of this evaluation methodology. These human-language experiments serve solely to validate our reference-free metric under data scarcity. It is found to correlate highly with a standard evaluation based on reference translations, which are available in our experiments. We also perform a theoretical analysis suggesting that interaction may not be necessary nor efficient in the early stages of learning to translate.