Zur nicht-interaktiven Bewertung von Übersetzern für tierische Kommunikation

On Non-interactive Evaluation of Animal Communication Translators

October 17, 2025

papers.authors: Orr Paradise, David F. Gruber, Adam Tauman Kalai

cs.AI

papers.abstract

Wenn Sie einen KI-basierten Wal-Englisch-Übersetzer hätten, wie könnten Sie überprüfen, ob er funktioniert? Muss man mit den Tieren interagieren oder sich auf fundierte Beobachtungen wie Temperatur verlassen? Wir liefern theoretische und experimentelle Proof-of-Concept-Beweise, die nahelegen, dass Interaktion und sogar Beobachtungen für hinreichend komplexe Sprachen möglicherweise nicht notwendig sind. Man könnte Übersetzer allein anhand ihrer englischen Ausgaben bewerten, was potenzielle Vorteile in Bezug auf Sicherheit, Ethik und Kosten bietet. Dies ist ein Beispiel für die Bewertung der Qualität von maschineller Übersetzung (MTQE) ohne verfügbare Referenzübersetzungen. Eine zentrale Herausforderung besteht darin, „Halluzinationen“ zu identifizieren – falsche Übersetzungen, die flüssig und plausibel erscheinen können. Wir schlagen vor, segmentweise Übersetzung zusammen mit dem klassischen NLP-Shuffle-Test zur Bewertung von Übersetzern zu verwenden. Die Idee ist, tierische Kommunikation schrittweise zu übersetzen und zu bewerten, wie oft die resultierenden Übersetzungen in der richtigen Reihenfolge mehr Sinn ergeben als in einer permutierten Anordnung. Proof-of-Concept-Experimente mit datenarmen menschlichen Sprachen und konstruierten Sprachen demonstrieren das potenzielle Nutzen dieser Bewertungsmethodik. Diese Experimente mit menschlichen Sprachen dienen ausschließlich dazu, unser referenzfreies Metrik unter Datenknappheit zu validieren. Es zeigt sich, dass es stark mit einer standardmäßigen Bewertung auf Basis von Referenzübersetzungen korreliert, die in unseren Experimenten verfügbar sind. Wir führen auch eine theoretische Analyse durch, die nahelegt, dass Interaktion in den frühen Phasen des Erlernens von Übersetzungen möglicherweise weder notwendig noch effizient ist.

English

If you had an AI Whale-to-English translator, how could you validate whether or not it is working? Does one need to interact with the animals or rely on grounded observations such as temperature? We provide theoretical and proof-of-concept experimental evidence suggesting that interaction and even observations may not be necessary for sufficiently complex languages. One may be able to evaluate translators solely by their English outputs, offering potential advantages in terms of safety, ethics, and cost. This is an instance of machine translation quality evaluation (MTQE) without any reference translations available. A key challenge is identifying ``hallucinations,'' false translations which may appear fluent and plausible. We propose using segment-by-segment translation together with the classic NLP shuffle test to evaluate translators. The idea is to translate animal communication, turn by turn, and evaluate how often the resulting translations make more sense in order than permuted. Proof-of-concept experiments on data-scarce human languages and constructed languages demonstrate the potential utility of this evaluation methodology. These human-language experiments serve solely to validate our reference-free metric under data scarcity. It is found to correlate highly with a standard evaluation based on reference translations, which are available in our experiments. We also perform a theoretical analysis suggesting that interaction may not be necessary nor efficient in the early stages of learning to translate.