AUITestAgent: 요구사항 기반 GUI 기능 테스트 자동화

AUITestAgent: Automatic Requirements Oriented GUI Function Testing

July 12, 2024

저자: Yongxiang Hu, Xuan Wang, Yingchuan Wang, Yu Zhang, Shiyu Guo, Chaoyi Chen, Xin Wang, Yangfan Zhou

cs.AI

초록

그래픽 사용자 인터페이스(GUI)는 사용자가 모바일 앱과 상호작용하는 방식입니다. GUI가 의도한 대로 작동하는지 확인하기 위해 테스트 엔지니어들은 일반적으로 자연어로 작성된 테스트 요구사항을 기반으로 기능을 검증해야 합니다. 널리 채택된 수동 테스트와 스크립트 기반 방법은 효과적이지만, 현대 모바일 앱의 방대한 GUI 페이지 수와 빠른 반복 속도로 인해 상당한 노력이 필요합니다. 본 논문은 모바일 앱을 위한 최초의 자동화된 자연어 기반 GUI 테스트 도구인 AUITestAgent를 소개합니다. 이 도구는 GUI 상호작용 및 기능 검증의 전체 프로세스를 완전히 자동화할 수 있습니다. 테스트 요구사항은 일반적으로 상호작용 명령과 검증 오라클을 포함하므로, AUITestAgent는 동적으로 조직된 에이전트를 통해 테스트 요구사항에서 GUI 상호작용을 추출할 수 있습니다. 그런 다음, AUITestAgent는 다차원 데이터 추출 전략을 사용하여 상호작용 트레이스에서 테스트 요구사항과 관련된 데이터를 검색하고 검증을 수행합니다. 맞춤형 벤치마크에서의 실험 결과, AUITestAgent는 생성된 GUI 상호작용의 품질에서 기존 도구들을 능가하며 94%의 검증 정확도를 달성했습니다. 또한, Meituan에서의 현장 배포는 AUITestAgent의 실용성을 입증했으며, 두 달 동안 10회의 회귀 테스트에서 4개의 새로운 기능 버그를 발견했습니다.

English

The Graphical User Interface (GUI) is how users interact with mobile apps. To ensure it functions properly, testing engineers have to make sure it functions as intended, based on test requirements that are typically written in natural language. While widely adopted manual testing and script-based methods are effective, they demand substantial effort due to the vast number of GUI pages and rapid iterations in modern mobile apps. This paper introduces AUITestAgent, the first automatic, natural language-driven GUI testing tool for mobile apps, capable of fully automating the entire process of GUI interaction and function verification. Since test requirements typically contain interaction commands and verification oracles. AUITestAgent can extract GUI interactions from test requirements via dynamically organized agents. Then, AUITestAgent employs a multi-dimensional data extraction strategy to retrieve data relevant to the test requirements from the interaction trace and perform verification. Experiments on customized benchmarks demonstrate that AUITestAgent outperforms existing tools in the quality of generated GUI interactions and achieved the accuracy of verifications of 94%. Moreover, field deployment in Meituan has shown AUITestAgent's practical usability, with it detecting 4 new functional bugs during 10 regression tests in two months.