AutoCrawler: Прогрессивный агент для понимания веб-ресурсов для генерации веб-сканера

AutoCrawler: A Progressive Understanding Web Agent for Web Crawler Generation

April 19, 2024

Авторы: Wenhao Huang, Chenghao Peng, Zhixu Li, Jiaqing Liang, Yanghua Xiao, Liqian Wen, Zulong Chen

cs.AI

Аннотация

Веб-автоматизация является значительной техникой, которая выполняет сложные веб-задачи путем автоматизации обычных веб-действий, повышая операционную эффективность и уменьшая необходимость в ручном вмешательстве. Традиционные методы, такие как обертки, страдают от ограниченной адаптивности и масштабируемости при столкновении с новым веб-сайтом. С другой стороны, генеративные агенты, усиленные большими языковыми моделями (LLM), проявляют плохую производительность и повторное использование в сценариях открытого мира. В данной работе мы представляем задачу генерации веб-сканера для вертикальных информационных веб-страниц и парадигму комбинирования LLM с веб-сканерами, что помогает сканерам более эффективно обрабатывать разнообразные и изменяющиеся веб-среды. Мы предлагаем AutoCrawler, двухэтапную структуру, которая использует иерархическую структуру HTML для пошагового понимания. Через операции сверху вниз и шаги назад AutoCrawler может учиться на ошибках и непрерывно обрезать HTML для лучшей генерации действий. Мы проводим комплексные эксперименты с несколькими LLM и демонстрируем эффективность нашей структуры. Ресурсы этой статьи можно найти по адресу https://github.com/EZ-hwh/AutoCrawler.

English

Web automation is a significant technique that accomplishes complicated web tasks by automating common web actions, enhancing operational efficiency, and reducing the need for manual intervention. Traditional methods, such as wrappers, suffer from limited adaptability and scalability when faced with a new website. On the other hand, generative agents empowered by large language models (LLMs) exhibit poor performance and reusability in open-world scenarios. In this work, we introduce a crawler generation task for vertical information web pages and the paradigm of combining LLMs with crawlers, which helps crawlers handle diverse and changing web environments more efficiently. We propose AutoCrawler, a two-stage framework that leverages the hierarchical structure of HTML for progressive understanding. Through top-down and step-back operations, AutoCrawler can learn from erroneous actions and continuously prune HTML for better action generation. We conduct comprehensive experiments with multiple LLMs and demonstrate the effectiveness of our framework. Resources of this paper can be found at https://github.com/EZ-hwh/AutoCrawler