Modelos de Gran Escala para Comprender, Simular y Optimizar Contenido y Comportamiento

Large Content And Behavior Models To Understand, Simulate, And Optimize Content And Behavior

September 1, 2023

Autores: Ashmit Khandelwal, Aditya Agrawal, Aanisha Bhattacharyya, Yaman K Singla, Somesh Singh, Uttaran Bhattacharya, Ishita Dasgupta, Stefano Petrangeli, Rajiv Ratn Shah, Changyou Chen, Balaji Krishnamurthy

cs.AI

Resumen

Shannon, en su artículo seminal que introdujo la teoría de la información, dividió la comunicación en tres niveles: técnico, semántico y de efectividad. Mientras que el nivel técnico se ocupa de la reconstrucción precisa de los símbolos transmitidos, los niveles semántico y de efectividad tratan sobre el significado inferido y su efecto en el receptor. Gracias a las telecomunicaciones, el problema del primer nivel ha producido grandes avances como internet. Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han logrado cierto progreso hacia el segundo objetivo, pero el tercer nivel sigue siendo en gran medida inexplorado. El tercer problema se refiere a predecir y optimizar la comunicación para obtener el comportamiento deseado en el receptor. Los LLMs, aunque muestran capacidades de generalización amplias en una variedad de tareas, no pueden resolver este problema. Una razón para este bajo rendimiento podría ser la falta de "tokens de comportamiento" en los corpus de entrenamiento de los LLMs. Los tokens de comportamiento definen el comportamiento del receptor durante una comunicación, como compartir, dar "me gusta", hacer clic, comprar, retuitear, etc. Al preprocesar los datos para el entrenamiento de los LLMs, los tokens de comportamiento a menudo se eliminan del corpus como ruido. Por lo tanto, en este artículo, avanzamos inicialmente en la reintroducción de tokens de comportamiento en el entrenamiento de los LLMs. Los modelos entrenados, además de mostrar un rendimiento similar al de los LLMs en tareas de comprensión de contenido, demuestran capacidades de generalización en simulación de comportamiento, simulación de contenido, comprensión de comportamiento y adaptación de dominio de comportamiento. Utilizando una amplia gama de tareas en dos corpus, mostramos resultados en todas estas capacidades. Llamamos a estos modelos Modelos de Contenido y Comportamiento de Gran Escala (LCBMs, por sus siglas en inglés). Además, para fomentar más investigación sobre los LCBMs, publicamos nuestro nuevo Corpus de Comportamiento de Contenido (CBC), un repositorio que contiene al comunicador, el mensaje y el comportamiento correspondiente del receptor.

English

Shannon, in his seminal paper introducing information theory, divided the communication into three levels: technical, semantic, and effectivenss. While the technical level is concerned with accurate reconstruction of transmitted symbols, the semantic and effectiveness levels deal with the inferred meaning and its effect on the receiver. Thanks to telecommunications, the first level problem has produced great advances like the internet. Large Language Models (LLMs) make some progress towards the second goal, but the third level still remains largely untouched. The third problem deals with predicting and optimizing communication for desired receiver behavior. LLMs, while showing wide generalization capabilities across a wide range of tasks, are unable to solve for this. One reason for the underperformance could be a lack of "behavior tokens" in LLMs' training corpora. Behavior tokens define receiver behavior over a communication, such as shares, likes, clicks, purchases, retweets, etc. While preprocessing data for LLM training, behavior tokens are often removed from the corpora as noise. Therefore, in this paper, we make some initial progress towards reintroducing behavior tokens in LLM training. The trained models, other than showing similar performance to LLMs on content understanding tasks, show generalization capabilities on behavior simulation, content simulation, behavior understanding, and behavior domain adaptation. Using a wide range of tasks on two corpora, we show results on all these capabilities. We call these models Large Content and Behavior Models (LCBMs). Further, to spur more research on LCBMs, we release our new Content Behavior Corpus (CBC), a repository containing communicator, message, and corresponding receiver behavior.