동물 커뮤니케이션 번역기의 비대화형 평가에 관하여

초록

고래-영어 AI 번역기가 있다면, 그것이 제대로 작동하는지 어떻게 검증할 수 있을까요? 동물과 직접 상호작용해야 할까요, 아니면 온도와 같은 객관적 관찰에 의존해야 할까요? 우리는 충분히 복잡한 언어의 경우 상호작용이나 관찰조차 필요하지 않을 수 있다는 이론적 및 개념 증명 실험적 증거를 제시합니다. 영어 출력만으로 번역기를 평가할 수 있다면, 이는 안전성, 윤리성, 비용 측면에서 잠재적 이점을 제공할 수 있습니다. 이는 참조 번역이 없는 상태에서의 기계 번역 품질 평가(MTQE)의 한 사례입니다. 주요 과제 중 하나는 유창하고 그럴듯해 보이는 거짓 번역인 "환각(hallucination)"을 식별하는 것입니다. 우리는 세그먼트별 번역과 고전적인 NLP 셔플 테스트를 함께 사용하여 번역기를 평가할 것을 제안합니다. 이 아이디어는 동물의 의사소통을 차례대로 번역하고, 결과 번역이 순열된 경우보다 더 의미 있는 순서로 나오는 빈도를 평가하는 것입니다. 데이터가 부족한 인간 언어와 인공 언어에 대한 개념 증명 실험은 이 평가 방법론의 잠재적 유용성을 입증합니다. 이러한 인간 언어 실험은 데이터 부족 상황에서 참조 없는 평가 지표를 검증하기 위한 목적으로만 수행되었습니다. 이 지표는 우리 실험에서 사용 가능한 참조 번역 기반의 표준 평가와 높은 상관관계를 보이는 것으로 나타났습니다. 또한 우리는 번역 학습의 초기 단계에서 상호작용이 필요하지 않을 뿐만 아니라 비효율적일 수 있다는 이론적 분석을 수행합니다.

English

If you had an AI Whale-to-English translator, how could you validate whether or not it is working? Does one need to interact with the animals or rely on grounded observations such as temperature? We provide theoretical and proof-of-concept experimental evidence suggesting that interaction and even observations may not be necessary for sufficiently complex languages. One may be able to evaluate translators solely by their English outputs, offering potential advantages in terms of safety, ethics, and cost. This is an instance of machine translation quality evaluation (MTQE) without any reference translations available. A key challenge is identifying ``hallucinations,'' false translations which may appear fluent and plausible. We propose using segment-by-segment translation together with the classic NLP shuffle test to evaluate translators. The idea is to translate animal communication, turn by turn, and evaluate how often the resulting translations make more sense in order than permuted. Proof-of-concept experiments on data-scarce human languages and constructed languages demonstrate the potential utility of this evaluation methodology. These human-language experiments serve solely to validate our reference-free metric under data scarcity. It is found to correlate highly with a standard evaluation based on reference translations, which are available in our experiments. We also perform a theoretical analysis suggesting that interaction may not be necessary nor efficient in the early stages of learning to translate.

동물 커뮤니케이션 번역기의 비대화형 평가에 관하여

On Non-interactive Evaluation of Animal Communication Translators

초록

Support