大規模コンテンツ・行動モデル：コンテンツと行動の理解、シミュレーション、最適化

Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior

September 1, 2023

著者: Ashmit Khandelwal, Aditya Agrawal, Aanisha Bhattacharyya, Yaman K Singla, Somesh Singh, Uttaran Bhattacharya, Ishita Dasgupta, Stefano Petrangeli, Rajiv Ratn Shah, Changyou Chen, Balaji Krishnamurthy

cs.AI

要旨

シャノンは、情報理論を紹介した画期的な論文において、通信を3つのレベルに分けました：技術的レベル、意味的レベル、効果的レベルです。技術的レベルは送信された記号の正確な再構成に関わるのに対し、意味的レベルと効果的レベルは推測される意味とそれが受信者に及ぼす影響を扱います。電気通信のおかげで、最初のレベルの問題はインターネットのような大きな進歩を生み出しました。大規模言語モデル（LLM）は2番目の目標に向けてある程度の進展を見せていますが、3番目のレベルは依然としてほとんど手つかずのままです。3番目の問題は、望ましい受信者行動を予測し、最適化するための通信を扱います。LLMは幅広いタスクにわたる汎化能力を示していますが、これを解決することはできません。このパフォーマンスの低さの一因は、LLMの訓練コーパスにおける「行動トークン」の欠如にある可能性があります。行動トークンは、共有、いいね、クリック、購入、リツイートなど、通信にわたる受信者行動を定義します。LLMの訓練用データを前処理する際、行動トークンはノイズとしてコーパスから除去されることが多いです。したがって、本論文では、LLMの訓練に行動トークンを再導入するための初期の進展を示します。訓練されたモデルは、内容理解タスクにおいてLLMと同等の性能を示すだけでなく、行動シミュレーション、内容シミュレーション、行動理解、行動ドメイン適応において汎化能力を示します。2つのコーパスを用いた幅広いタスクを通じて、これらの能力すべてについて結果を示します。これらのモデルを大規模内容行動モデル（LCBM）と呼びます。さらに、LCBMに関する研究を促進するため、コミュニケーター、メッセージ、および対応する受信者行動を含む新しいコンテンツ行動コーパス（CBC）を公開します。

English

Shannon, in his seminal paper introducing information theory, divided the communication into three levels: technical, semantic, and effectivenss. While the technical level is concerned with accurate reconstruction of transmitted symbols, the semantic and effectiveness levels deal with the inferred meaning and its effect on the receiver. Thanks to telecommunications, the first level problem has produced great advances like the internet. Large Language Models (LLMs) make some progress towards the second goal, but the third level still remains largely untouched. The third problem deals with predicting and optimizing communication for desired receiver behavior. LLMs, while showing wide generalization capabilities across a wide range of tasks, are unable to solve for this. One reason for the underperformance could be a lack of "behavior tokens" in LLMs' training corpora. Behavior tokens define receiver behavior over a communication, such as shares, likes, clicks, purchases, retweets, etc. While preprocessing data for LLM training, behavior tokens are often removed from the corpora as noise. Therefore, in this paper, we make some initial progress towards reintroducing behavior tokens in LLM training. The trained models, other than showing similar performance to LLMs on content understanding tasks, show generalization capabilities on behavior simulation, content simulation, behavior understanding, and behavior domain adaptation. Using a wide range of tasks on two corpora, we show results on all these capabilities. We call these models Large Content and Behavior Models (LCBMs). Further, to spur more research on LCBMs, we release our new Content Behavior Corpus (CBC), a repository containing communicator, message, and corresponding receiver behavior.