О неинтерактивной оценке переводчиков для коммуникации животных

On Non-interactive Evaluation of Animal Communication Translators

October 17, 2025

Авторы: Orr Paradise, David F. Gruber, Adam Tauman Kalai

cs.AI

Аннотация

Если бы у вас был ИИ-переводчик с языка китов на английский, как бы вы могли проверить, работает ли он? Нужно ли взаимодействовать с животными или полагаться на объективные наблюдения, такие как температура? Мы предоставляем теоретические и экспериментальные доказательства концепции, которые предполагают, что взаимодействие и даже наблюдения могут быть не обязательными для достаточно сложных языков. Возможно, можно оценивать переводчиков исключительно по их английским выводам, что предлагает потенциальные преимущества с точки зрения безопасности, этики и затрат. Это пример оценки качества машинного перевода (MTQE) без доступных эталонных переводов. Ключевой задачей является выявление «галлюцинаций» — ложных переводов, которые могут казаться беглыми и правдоподобными. Мы предлагаем использовать поэтапный перевод вместе с классическим NLP shuffle тестом для оценки переводчиков. Идея заключается в том, чтобы переводить коммуникацию животных шаг за шагом и оценивать, насколько чаще полученные переводы имеют смысл в правильном порядке, чем в переставленном. Эксперименты по проверке концепции на малодоступных человеческих языках и искусственных языках демонстрируют потенциальную полезность этой методики оценки. Эти эксперименты с человеческими языками служат исключительно для проверки нашей метрики без эталонов в условиях недостатка данных. Было обнаружено, что она сильно коррелирует со стандартной оценкой, основанной на эталонных переводах, которые доступны в наших экспериментах. Мы также проводим теоретический анализ, который предполагает, что взаимодействие может быть не необходимым и не эффективным на ранних этапах обучения переводу.

English

If you had an AI Whale-to-English translator, how could you validate whether or not it is working? Does one need to interact with the animals or rely on grounded observations such as temperature? We provide theoretical and proof-of-concept experimental evidence suggesting that interaction and even observations may not be necessary for sufficiently complex languages. One may be able to evaluate translators solely by their English outputs, offering potential advantages in terms of safety, ethics, and cost. This is an instance of machine translation quality evaluation (MTQE) without any reference translations available. A key challenge is identifying ``hallucinations,'' false translations which may appear fluent and plausible. We propose using segment-by-segment translation together with the classic NLP shuffle test to evaluate translators. The idea is to translate animal communication, turn by turn, and evaluate how often the resulting translations make more sense in order than permuted. Proof-of-concept experiments on data-scarce human languages and constructed languages demonstrate the potential utility of this evaluation methodology. These human-language experiments serve solely to validate our reference-free metric under data scarcity. It is found to correlate highly with a standard evaluation based on reference translations, which are available in our experiments. We also perform a theoretical analysis suggesting that interaction may not be necessary nor efficient in the early stages of learning to translate.