AutoCrawler: Um Agente Web de Compreensão Progressiva para Geração de Web Crawlers
AutoCrawler: A Progressive Understanding Web Agent for Web Crawler Generation
April 19, 2024
Autores: Wenhao Huang, Chenghao Peng, Zhixu Li, Jiaqing Liang, Yanghua Xiao, Liqian Wen, Zulong Chen
cs.AI
Resumo
A automação web é uma técnica significativa que realiza tarefas complexas na web automatizando ações comuns, aumentando a eficiência operacional e reduzindo a necessidade de intervenção manual. Métodos tradicionais, como wrappers, sofrem com adaptabilidade e escalabilidade limitadas quando confrontados com um novo site. Por outro lado, agentes generativos impulsionados por modelos de linguagem de grande escala (LLMs) apresentam desempenho e reutilização insatisfatórios em cenários de mundo aberto. Neste trabalho, introduzimos uma tarefa de geração de crawlers para páginas web de informação vertical e o paradigma de combinar LLMs com crawlers, o que ajuda os crawlers a lidar com ambientes web diversos e em constante mudança de forma mais eficiente. Propomos o AutoCrawler, um framework de dois estágios que aproveita a estrutura hierárquica do HTML para compreensão progressiva. Por meio de operações de cima para baixo e de retrocesso, o AutoCrawler pode aprender com ações errôneas e podar continuamente o HTML para melhor geração de ações. Realizamos experimentos abrangentes com múltiplos LLMs e demonstramos a eficácia do nosso framework. Os recursos deste artigo podem ser encontrados em https://github.com/EZ-hwh/AutoCrawler.
English
Web automation is a significant technique that accomplishes complicated web
tasks by automating common web actions, enhancing operational efficiency, and
reducing the need for manual intervention. Traditional methods, such as
wrappers, suffer from limited adaptability and scalability when faced with a
new website. On the other hand, generative agents empowered by large language
models (LLMs) exhibit poor performance and reusability in open-world scenarios.
In this work, we introduce a crawler generation task for vertical information
web pages and the paradigm of combining LLMs with crawlers, which helps
crawlers handle diverse and changing web environments more efficiently. We
propose AutoCrawler, a two-stage framework that leverages the hierarchical
structure of HTML for progressive understanding. Through top-down and step-back
operations, AutoCrawler can learn from erroneous actions and continuously prune
HTML for better action generation. We conduct comprehensive experiments with
multiple LLMs and demonstrate the effectiveness of our framework. Resources of
this paper can be found at https://github.com/EZ-hwh/AutoCrawler