OmniThink : Élargir les Frontières de la Connaissance dans l'Écriture Automatique à travers la Pensée

OmniThink: Expanding Knowledge Boundaries in Machine Writing through Thinking

January 16, 2025

Auteurs: Zekun Xi, Wenbiao Yin, Jizhan Fang, Jialong Wu, Runnan Fang, Ningyu Zhang, Jiang Yong, Pengjun Xie, Fei Huang, Huajun Chen

cs.AI

Résumé

L'écriture automatique avec de grands modèles de langage repose souvent sur la génération augmentée par récupération. Cependant, ces approches restent confinées dans les limites de la portée prédéfinie du modèle, limitant la génération de contenu riche en informations. Plus précisément, les informations récupérées de manière classique ont tendance à manquer de profondeur, d'utilité et souffrent de redondance, ce qui impacte négativement la qualité des articles générés, entraînant des sorties superficielles, répétitives et peu originales. Pour résoudre ces problèmes, nous proposons OmniThink, un cadre d'écriture automatique qui émule le processus itératif d'expansion et de réflexion de type humain. L'idée centrale derrière OmniThink est de simuler le comportement cognitif des apprenants alors qu'ils approfondissent progressivement leurs connaissances des sujets. Les résultats expérimentaux démontrent qu'OmniThink améliore la densité de connaissance des articles générés sans compromettre des métriques telles que la cohérence et la profondeur. Les évaluations humaines et les retours d'experts mettent en avant le potentiel d'OmniThink pour relever les défis du monde réel dans la génération d'articles longs.

English

Machine writing with large language models often relies on retrieval-augmented generation. However, these approaches remain confined within the boundaries of the model's predefined scope, limiting the generation of content with rich information. Specifically, vanilla-retrieved information tends to lack depth, utility, and suffers from redundancy, which negatively impacts the quality of generated articles, leading to shallow, repetitive, and unoriginal outputs. To address these issues, we propose OmniThink, a machine writing framework that emulates the human-like process of iterative expansion and reflection. The core idea behind OmniThink is to simulate the cognitive behavior of learners as they progressively deepen their knowledge of the topics. Experimental results demonstrate that OmniThink improves the knowledge density of generated articles without compromising metrics such as coherence and depth. Human evaluations and expert feedback further highlight the potential of OmniThink to address real-world challenges in the generation of long-form articles.