Мы не можем понять ИИ, используя наш существующий словарный запас.

We Can't Understand AI Using our Existing Vocabulary

February 11, 2025

Авторы: John Hewitt, Robert Geirhos, Been Kim

cs.AI

Аннотация

В данной позиционной статье утверждается, что для понимания ИИ мы не можем полагаться на существующий словарный запас человеческих слов. Вместо этого мы должны стремиться к созданию неологизмов: новых слов, которые представляют точные человеческие концепции, которые мы хотим передать машинам, или машинные концепции, которые нам необходимо изучить. Мы исходим из предпосылки, что у людей и машин существуют различные концепции. Это означает, что интерпретируемость можно рассматривать как проблему коммуникации: люди должны иметь возможность ссылаться на машинные концепции и управлять ими, а также передавать человеческие концепции машинам. Создание общего языка для взаимодействия человека и машины через разработку неологизмов, как мы полагаем, может решить эту проблему коммуникации. Успешные неологизмы достигают полезного уровня абстракции: не слишком детализированы, чтобы быть применимыми в различных контекстах, и не слишком обобщены, чтобы передавать точную информацию. В качестве доказательства концепции мы демонстрируем, как "неологизм длины" позволяет управлять длиной ответов языковых моделей, а "неологизм разнообразия" позволяет получать более вариативные ответы. В совокупности мы утверждаем, что мы не можем понять ИИ, используя существующий словарный запас, и его расширение через неологизмы создает возможности как для управления, так и для лучшего понимания машин.

English

This position paper argues that, in order to understand AI, we cannot rely on our existing vocabulary of human words. Instead, we should strive to develop neologisms: new words that represent precise human concepts that we want to teach machines, or machine concepts that we need to learn. We start from the premise that humans and machines have differing concepts. This means interpretability can be framed as a communication problem: humans must be able to reference and control machine concepts, and communicate human concepts to machines. Creating a shared human-machine language through developing neologisms, we believe, could solve this communication problem. Successful neologisms achieve a useful amount of abstraction: not too detailed, so they're reusable in many contexts, and not too high-level, so they convey precise information. As a proof of concept, we demonstrate how a "length neologism" enables controlling LLM response length, while a "diversity neologism" allows sampling more variable responses. Taken together, we argue that we cannot understand AI using our existing vocabulary, and expanding it through neologisms creates opportunities for both controlling and understanding machines better.