Sobre la Evaluación No Interactiva de Traductores de Comunicación Animal

On Non-interactive Evaluation of Animal Communication Translators

October 17, 2025

Autores: Orr Paradise, David F. Gruber, Adam Tauman Kalai

cs.AI

Resumen

Si tuvieras un traductor de IA de ballena a inglés, ¿cómo podrías validar si está funcionando o no? ¿Es necesario interactuar con los animales o depender de observaciones fundamentadas, como la temperatura? Proporcionamos evidencia teórica y experimental de concepto que sugiere que la interacción e incluso las observaciones pueden no ser necesarias para lenguajes suficientemente complejos. Podría ser posible evaluar los traductores únicamente por sus salidas en inglés, ofreciendo ventajas potenciales en términos de seguridad, ética y costos. Este es un caso de evaluación de calidad de traducción automática (MTQE, por sus siglas en inglés) sin disponer de traducciones de referencia. Un desafío clave es identificar "alucinaciones", traducciones falsas que pueden parecer fluidas y plausibles. Proponemos utilizar la traducción segmento por segmento junto con la clásica prueba de barajado en procesamiento del lenguaje natural (NLP) para evaluar los traductores. La idea es traducir la comunicación animal, turno por turno, y evaluar con qué frecuencia las traducciones resultantes tienen más sentido en orden que permutadas. Experimentos de concepto en lenguajes humanos con escasez de datos y lenguajes construidos demuestran la utilidad potencial de esta metodología de evaluación. Estos experimentos con lenguajes humanos sirven únicamente para validar nuestra métrica sin referencia bajo escasez de datos. Se encuentra que esta métrica correlaciona altamente con una evaluación estándar basada en traducciones de referencia, las cuales están disponibles en nuestros experimentos. También realizamos un análisis teórico que sugiere que la interacción puede no ser necesaria ni eficiente en las primeras etapas del aprendizaje de traducción.

English

If you had an AI Whale-to-English translator, how could you validate whether or not it is working? Does one need to interact with the animals or rely on grounded observations such as temperature? We provide theoretical and proof-of-concept experimental evidence suggesting that interaction and even observations may not be necessary for sufficiently complex languages. One may be able to evaluate translators solely by their English outputs, offering potential advantages in terms of safety, ethics, and cost. This is an instance of machine translation quality evaluation (MTQE) without any reference translations available. A key challenge is identifying ``hallucinations,'' false translations which may appear fluent and plausible. We propose using segment-by-segment translation together with the classic NLP shuffle test to evaluate translators. The idea is to translate animal communication, turn by turn, and evaluate how often the resulting translations make more sense in order than permuted. Proof-of-concept experiments on data-scarce human languages and constructed languages demonstrate the potential utility of this evaluation methodology. These human-language experiments serve solely to validate our reference-free metric under data scarcity. It is found to correlate highly with a standard evaluation based on reference translations, which are available in our experiments. We also perform a theoretical analysis suggesting that interaction may not be necessary nor efficient in the early stages of learning to translate.