AutoCrawler: Un Agente Web con Comprensione Progressiva per la Generazione di Web Crawler

AutoCrawler: A Progressive Understanding Web Agent for Web Crawler Generation

April 19, 2024

Autori: Wenhao Huang, Chenghao Peng, Zhixu Li, Jiaqing Liang, Yanghua Xiao, Liqian Wen, Zulong Chen

cs.AI

Abstract

L'automazione web è una tecnica significativa che esegue compiti web complessi automatizzando azioni web comuni, migliorando l'efficienza operativa e riducendo la necessità di intervento manuale. I metodi tradizionali, come i wrapper, presentano una limitata adattabilità e scalabilità quando si confrontano con un nuovo sito web. D'altro canto, gli agenti generativi potenziati da modelli linguistici di grandi dimensioni (LLM) mostrano scarse prestazioni e riutilizzabilità in scenari di mondo aperto. In questo lavoro, introduciamo un'attività di generazione di crawler per pagine web di informazioni verticali e il paradigma di combinare LLM con crawler, che aiuta i crawler a gestire ambienti web diversi e mutevoli in modo più efficiente. Proponiamo AutoCrawler, un framework a due fasi che sfrutta la struttura gerarchica dell'HTML per una comprensione progressiva. Attraverso operazioni top-down e step-back, AutoCrawler può apprendere da azioni errate e potare continuamente l'HTML per una migliore generazione di azioni. Condividiamo esperimenti completi con più LLM e dimostriamo l'efficacia del nostro framework. Le risorse di questo articolo sono disponibili su https://github.com/EZ-hwh/AutoCrawler.

English

Web automation is a significant technique that accomplishes complicated web tasks by automating common web actions, enhancing operational efficiency, and reducing the need for manual intervention. Traditional methods, such as wrappers, suffer from limited adaptability and scalability when faced with a new website. On the other hand, generative agents empowered by large language models (LLMs) exhibit poor performance and reusability in open-world scenarios. In this work, we introduce a crawler generation task for vertical information web pages and the paradigm of combining LLMs with crawlers, which helps crawlers handle diverse and changing web environments more efficiently. We propose AutoCrawler, a two-stage framework that leverages the hierarchical structure of HTML for progressive understanding. Through top-down and step-back operations, AutoCrawler can learn from erroneous actions and continuously prune HTML for better action generation. We conduct comprehensive experiments with multiple LLMs and demonstrate the effectiveness of our framework. Resources of this paper can be found at https://github.com/EZ-hwh/AutoCrawler