Модели большого объема данных и поведения для понимания, симуляции и оптимизации контента и поведения

Аннотация

Шеннон в своей основополагающей работе, посвящённой теории информации, разделил коммуникацию на три уровня: технический, семантический и уровень эффективности. В то время как технический уровень связан с точным восстановлением передаваемых символов, семантический уровень и уровень эффективности касаются выводимого значения и его воздействия на получателя. Благодаря телекоммуникациям, проблема первого уровня привела к значительным достижениям, таким как интернет. Крупные языковые модели (LLM) добились некоторого прогресса в достижении второй цели, но третий уровень остаётся в значительной степени неисследованным. Третья проблема связана с прогнозированием и оптимизацией коммуникации для достижения желаемого поведения получателя. LLM, демонстрируя широкие возможности обобщения в различных задачах, не способны решить эту проблему. Одной из причин недостаточной эффективности может быть отсутствие "токенов поведения" в обучающих корпусах LLM. Токены поведения определяют поведение получателя в ходе коммуникации, например, лайки, клики, покупки, ретвиты и т.д. При предварительной обработке данных для обучения LLM токены поведения часто удаляются из корпусов как шум. Поэтому в данной статье мы делаем первые шаги к повторному внедрению токенов поведения в обучение LLM. Обученные модели, помимо схожей с LLM производительности в задачах понимания контента, демонстрируют способности к обобщению в симуляции поведения, симуляции контента, пониманию поведения и адаптации к поведенческим доменам. Используя широкий спектр задач на двух корпусах, мы показываем результаты по всем этим способностям. Мы называем эти модели Крупными моделями контента и поведения (LCBM). Кроме того, чтобы стимулировать дальнейшие исследования в области LCBM, мы публикуем наш новый Корпус контента и поведения (CBC), репозиторий, содержащий коммуникатора, сообщение и соответствующее поведение получателя.

English

Shannon, in his seminal paper introducing information theory, divided the communication into three levels: technical, semantic, and effectivenss. While the technical level is concerned with accurate reconstruction of transmitted symbols, the semantic and effectiveness levels deal with the inferred meaning and its effect on the receiver. Thanks to telecommunications, the first level problem has produced great advances like the internet. Large Language Models (LLMs) make some progress towards the second goal, but the third level still remains largely untouched. The third problem deals with predicting and optimizing communication for desired receiver behavior. LLMs, while showing wide generalization capabilities across a wide range of tasks, are unable to solve for this. One reason for the underperformance could be a lack of "behavior tokens" in LLMs' training corpora. Behavior tokens define receiver behavior over a communication, such as shares, likes, clicks, purchases, retweets, etc. While preprocessing data for LLM training, behavior tokens are often removed from the corpora as noise. Therefore, in this paper, we make some initial progress towards reintroducing behavior tokens in LLM training. The trained models, other than showing similar performance to LLMs on content understanding tasks, show generalization capabilities on behavior simulation, content simulation, behavior understanding, and behavior domain adaptation. Using a wide range of tasks on two corpora, we show results on all these capabilities. We call these models Large Content and Behavior Models (LCBMs). Further, to spur more research on LCBMs, we release our new Content Behavior Corpus (CBC), a repository containing communicator, message, and corresponding receiver behavior.

Модели большого объема данных и поведения для понимания, симуляции и оптимизации контента и поведения

Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior

Аннотация

Support