Große Inhalts- und Verhaltensmodelle zum Verstehen, Simulieren und Optimieren von Inhalten und Verhalten

Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior

September 1, 2023

Autoren: Ashmit Khandelwal, Aditya Agrawal, Aanisha Bhattacharyya, Yaman K Singla, Somesh Singh, Uttaran Bhattacharya, Ishita Dasgupta, Stefano Petrangeli, Rajiv Ratn Shah, Changyou Chen, Balaji Krishnamurthy

cs.AI

Zusammenfassung

Shannon unterteilte in seinem wegweisenden Artikel zur Einführung der Informationstheorie die Kommunikation in drei Ebenen: die technische, die semantische und die Effektivitätsebene. Während sich die technische Ebene mit der genauen Rekonstruktion der übertragenen Symbole befasst, beschäftigen sich die semantische und die Effektivitätsebene mit der abgeleiteten Bedeutung und deren Auswirkung auf den Empfänger. Dank der Telekommunikation hat das Problem der ersten Ebene große Fortschritte wie das Internet hervorgebracht. Große Sprachmodelle (LLMs) machen einige Fortschritte in Richtung des zweiten Ziels, doch die dritte Ebene bleibt weitgehend unberührt. Das dritte Problem befasst sich mit der Vorhersage und Optimierung der Kommunikation für ein gewünschtes Empfängerverhalten. LLMs, obwohl sie breite Generalisierungsfähigkeiten über eine Vielzahl von Aufgaben hinweg zeigen, sind nicht in der Lage, dies zu lösen. Ein Grund für die Unterlegenheit könnte das Fehlen von „Verhaltenstokens“ in den Trainingskorpora der LLMs sein. Verhaltenstokens definieren das Empfängerverhalten während einer Kommunikation, wie z.B. Shares, Likes, Klicks, Käufe, Retweets usw. Bei der Vorverarbeitung von Daten für das LLM-Training werden Verhaltenstokens oft als Rauschen aus den Korpora entfernt. Daher machen wir in diesem Artikel einige erste Fortschritte bei der Wiedereinführung von Verhaltenstokens in das LLM-Training. Die trainierten Modelle zeigen neben einer ähnlichen Leistung wie LLMs bei Aufgaben zum Inhaltsverständnis auch Generalisierungsfähigkeiten bei der Verhaltenssimulation, Inhaltsimulation, Verhaltensverständnis und Verhaltensdomänenanpassung. Anhand einer Vielzahl von Aufgaben in zwei Korpora zeigen wir Ergebnisse zu all diesen Fähigkeiten. Wir nennen diese Modelle Large Content and Behavior Models (LCBMs). Um weitere Forschung zu LCBMs anzuregen, veröffentlichen wir unser neues Content Behavior Corpus (CBC), ein Repository, das Kommunikator, Nachricht und entsprechendes Empfängerverhalten enthält.

English

Shannon, in his seminal paper introducing information theory, divided the communication into three levels: technical, semantic, and effectivenss. While the technical level is concerned with accurate reconstruction of transmitted symbols, the semantic and effectiveness levels deal with the inferred meaning and its effect on the receiver. Thanks to telecommunications, the first level problem has produced great advances like the internet. Large Language Models (LLMs) make some progress towards the second goal, but the third level still remains largely untouched. The third problem deals with predicting and optimizing communication for desired receiver behavior. LLMs, while showing wide generalization capabilities across a wide range of tasks, are unable to solve for this. One reason for the underperformance could be a lack of "behavior tokens" in LLMs' training corpora. Behavior tokens define receiver behavior over a communication, such as shares, likes, clicks, purchases, retweets, etc. While preprocessing data for LLM training, behavior tokens are often removed from the corpora as noise. Therefore, in this paper, we make some initial progress towards reintroducing behavior tokens in LLM training. The trained models, other than showing similar performance to LLMs on content understanding tasks, show generalization capabilities on behavior simulation, content simulation, behavior understanding, and behavior domain adaptation. Using a wide range of tasks on two corpora, we show results on all these capabilities. We call these models Large Content and Behavior Models (LCBMs). Further, to spur more research on LCBMs, we release our new Content Behavior Corpus (CBC), a repository containing communicator, message, and corresponding receiver behavior.