AutoCrawler: Een Progressief Begrijpend Webagent voor het Genereren van Webcrawlers
AutoCrawler: A Progressive Understanding Web Agent for Web Crawler Generation
April 19, 2024
Auteurs: Wenhao Huang, Chenghao Peng, Zhixu Li, Jiaqing Liang, Yanghua Xiao, Liqian Wen, Zulong Chen
cs.AI
Samenvatting
Webautomatisering is een belangrijke techniek die complexe webtaken uitvoert door veelvoorkomende webacties te automatiseren, de operationele efficiëntie te verbeteren en de noodzaak van handmatige interventie te verminderen. Traditionele methoden, zoals wrappers, hebben beperkte aanpasbaarheid en schaalbaarheid wanneer ze worden geconfronteerd met een nieuwe website. Aan de andere kant vertonen generatieve agents, aangedreven door grote taalmodellen (LLM's), slechte prestaties en herbruikbaarheid in open-wereldscenario's. In dit werk introduceren we een crawler-generatietaak voor verticale informatiewebpagina's en het paradigma van het combineren van LLM's met crawlers, wat crawlers helpt om diverse en veranderende webomgevingen efficiënter te verwerken. We stellen AutoCrawler voor, een tweefasenframework dat gebruikmaakt van de hiërarchische structuur van HTML voor progressief begrip. Door top-down en stap-terug operaties kan AutoCrawler leren van foutieve acties en continu HTML snoeien voor betere actiegeneratie. We voeren uitgebreide experimenten uit met meerdere LLM's en demonstreren de effectiviteit van ons framework. De bronnen van dit artikel zijn te vinden op https://github.com/EZ-hwh/AutoCrawler.
English
Web automation is a significant technique that accomplishes complicated web
tasks by automating common web actions, enhancing operational efficiency, and
reducing the need for manual intervention. Traditional methods, such as
wrappers, suffer from limited adaptability and scalability when faced with a
new website. On the other hand, generative agents empowered by large language
models (LLMs) exhibit poor performance and reusability in open-world scenarios.
In this work, we introduce a crawler generation task for vertical information
web pages and the paradigm of combining LLMs with crawlers, which helps
crawlers handle diverse and changing web environments more efficiently. We
propose AutoCrawler, a two-stage framework that leverages the hierarchical
structure of HTML for progressive understanding. Through top-down and step-back
operations, AutoCrawler can learn from erroneous actions and continuously prune
HTML for better action generation. We conduct comprehensive experiments with
multiple LLMs and demonstrate the effectiveness of our framework. Resources of
this paper can be found at https://github.com/EZ-hwh/AutoCrawler