AUITestAgent: 要件指向のGUI機能テスト自動化

AUITestAgent: Automatic Requirements Oriented GUI Function Testing

July 12, 2024

著者: Yongxiang Hu, Xuan Wang, Yingchuan Wang, Yu Zhang, Shiyu Guo, Chaoyi Chen, Xin Wang, Yangfan Zhou

cs.AI

要旨

グラフィカルユーザーインターフェース（GUI）は、ユーザーがモバイルアプリと対話するための手段です。その正常な動作を保証するため、テストエンジニアは、通常自然言語で記述されたテスト要件に基づいて、意図した通りに機能することを確認しなければなりません。広く採用されている手動テストやスクリプトベースの方法は効果的ですが、現代のモバイルアプリにおける膨大な数のGUIページと迅速なイテレーションのため、多大な労力を要します。本論文では、モバイルアプリ向けの最初の自動的で自然言語駆動型のGUIテストツールであるAUITestAgentを紹介します。このツールは、GUIインタラクションと機能検証の全プロセスを完全に自動化することが可能です。テスト要件には通常、インタラクションコマンドと検証オラクルが含まれるため、AUITestAgentは動的に組織化されたエージェントを介してテスト要件からGUIインタラクションを抽出します。その後、AUITestAgentは多次元データ抽出戦略を用いて、インタラクショントレースからテスト要件に関連するデータを取得し、検証を実行します。カスタマイズされたベンチマークでの実験により、AUITestAgentは生成されたGUIインタラクションの品質において既存のツールを上回り、検証の精度は94%を達成しました。さらに、Meituanでのフィールド展開では、AUITestAgentの実用性が示され、2か月間の10回のリグレッションテスト中に4つの新たな機能バグを検出しました。

English

The Graphical User Interface (GUI) is how users interact with mobile apps. To ensure it functions properly, testing engineers have to make sure it functions as intended, based on test requirements that are typically written in natural language. While widely adopted manual testing and script-based methods are effective, they demand substantial effort due to the vast number of GUI pages and rapid iterations in modern mobile apps. This paper introduces AUITestAgent, the first automatic, natural language-driven GUI testing tool for mobile apps, capable of fully automating the entire process of GUI interaction and function verification. Since test requirements typically contain interaction commands and verification oracles. AUITestAgent can extract GUI interactions from test requirements via dynamically organized agents. Then, AUITestAgent employs a multi-dimensional data extraction strategy to retrieve data relevant to the test requirements from the interaction trace and perform verification. Experiments on customized benchmarks demonstrate that AUITestAgent outperforms existing tools in the quality of generated GUI interactions and achieved the accuracy of verifications of 94%. Moreover, field deployment in Meituan has shown AUITestAgent's practical usability, with it detecting 4 new functional bugs during 10 regression tests in two months.