研究论文

基于模型和基于动态事件提取的GUI测试技术的比较

作者:

格雷格罗瑟梅尔，以及

斗河湾拜作者信息和声明

系统与软件杂志,体积97,问题C

页15-46

https://doi.org/10.1016/j.jss.2014.06.039

出版:2014年10月1日出版历史

摘要

亮点我们比较了基于模型和基于动态事件提取的GUI测试技术。我们提出了一个灵活的GUI测试框架，可以进行技术比较。我们表明，不可执行的事件削弱了测试的有效性并增加了测试成本。我们表明，高语句覆盖率并不意味着检测到大量错误。我们表明测试用例的长度会影响故障检测和覆盖率。图形用户界面在现代软件系统中普遍存在，为了确保其质量，对其进行测试非常重要。自动GUI测试方法的两个主要类别，即基于静态模型的测试方法和基于动态事件提取的测试方法，在成本和效率方面进行了权衡。例如，基于静态模型的GUI测试技术可以创建包含不可执行事件的测试用例，而基于动态事件提取的GUI测试方法可以创建大量重复的测试用例。为了更好地理解这些权衡的影响，我们创建了一个GUI测试框架，该框架有助于公平比较不同的GUI测试技术，并且我们在几个基于GUI的Java应用程序上对基于静态模型和基于动态事件提取的测试技术的代表性版本进行了受控实验。我们的研究揭示了几种技术之间的成本和效率权衡，对研究和实践具有启示。

工具书类

[1]

S.Arlt，A.Podelski，C.Bertolini，M.Schaf，I.Banerjee，A.M.Memon，GUI测试的轻量级静态分析，摘自：IEEE软件可靠性工程国际研讨会论文集，2012年，第301-310页。

数字图书馆

[2]

S.Artzi，J.Dolby，S.H.Jensen，A.Moller，F.Tip，《javascript web应用程序自动化测试框架》，摘自：《软件工程国际会议论文集》，2011年，第571-580页。

[3]

G.Bae，G.Rothermel，D.-H.Bae，《基于模型和基于动态事件提取的GUI测试技术的相对优势：实证研究》，载于：《软件可靠性工程国际研讨会论文集》，2012年，第181-190页。

数字图书馆

[4]

V.R.Basili，R.W.Selby，比较软件测试策略的有效性，IEEE Trans。柔和。工程，13（1987）1278-1296。

数字图书馆

[5]

S.Bauersfeld，S.Wappler，《使用GUI测试应用程序序列生成的元启发式方法》，基于搜索的软件，LNCS，6956（2011）173-187。

[6]

F.Belli，图形用户界面的有限状态测试和分析，收录于：《软件可靠性工程国际研讨会论文集》，2001年，第34-43页。

[7]

C.Bertolini，G.Peres，M.D'Amorim，A.Mota，《崩溃GUI的自动化黑盒测试技术的经验评估》，载于：《软件测试验证与确认国际会议论文集》，2009年，第21-30页。

数字图书馆

[8]

C.Bertolini、A.Mota、E.Aranha、C.Ferraz，《通过设计实验评估GUI测试技术》，载于《第三届软件测试、验证和确认国际会议论文集》，2010年，第235-244页。

数字图书馆

[9]

E.Borjesson，R.Feldt，《使用可视化GUI测试工具的自动化系统测试：行业比较研究》，载于：《国际软件测试会议论文集》，2012年，第350-359页。

[10]

L.Briand，Y.Labiche，Y.Wang，《使用模拟对基于状态图的测试覆盖率标准进行实证研究》，载于《国际软件工程会议录》，2004年，第86-95页。

[11]

X.Cai，M.R.Lyu，不同测试配置文件下代码覆盖对故障检测的影响，摘自：第一届基于模型测试进展国际研讨会论文集，2005年，第1-7页。

数字图书馆

[12]

T.-H.Chang，T.Yeh，R.C.Miller，使用计算机视觉进行GUI测试，摘自：SIGCHI计算机系统人为因素会议论文集，2010年，第1535-1544页。

数字图书馆

[13]

科贝图拉。http://cobertura.sourceforge.net/。

[14]

M.Cohen，M.Dwyer，《在存在约束的情况下为高配置系统构建交互测试套件：贪婪方法》，IEEE Trans。柔和。工程，34（2008）633-650。

[15]

B.Daniel，Q.Luo，M.Mirzaaghaei，D.Dig，D.Marinov，M.Pezzè，自动化GUI重构和测试脚本修复，摘自：《首届端到端测试脚本工程国际研讨会论文集》，2011年，第38-41页。

[16]

S.Elbaum，D.Gable，G.Rothermel，《理解和测量回归测试套件优先级中的变化源》，载于《第七届软件度量国际研讨会论文集》，2001年，第169-179页。

[17]

J.E.Forrester，B.P.Miller，《使用随机测试对windows NT应用程序稳健性的实证研究》，载于《第四届USENIX windows系统研讨会论文集》，2000年，第59-68页。

数字图书馆

[18]

P.G.Frankl，O.Iakounenko，《测试有效性的进一步实证研究》，载于《第六届ACM SIGSOFT国际软件工程基础研讨会论文集》，1998年，第153-162页。

数字图书馆

[19]

R.Gove，J.Faytong，《使用支持向量机和诱导语法识别不可行的GUI测试用例》，载于《第四届软件测试、验证和验证国际会议论文集》，2011年，第202-211页。

数字图书馆

[20]

R.Gove，J.Faytong，《机器学习和基于事件的软件测试：识别不可行GUI事件序列的分类器》，高级计算。，86 (2012) 109-135.

[21]

M.Grechanik，Q.Xie，C.Fu，维护和发展GUI-指导的测试脚本，摘自：《软件工程国际会议论文集》，2009年，第408-418页。

数字图书馆

[22]

M.Grechanik，Q.Zie，C.Fu，《GUI-定向测试脚本的手动维护与基于工具的维护的实验评估》，载《软件维护国际会议论文集》，2009年，第9-18页。

[23]

F.Gross，G.Fraser，A.Zeller，EXSYST:基于搜索的GUI测试，摘自：《国际软件工程会议论文集》，2012年，第1423-1426页。

[24]

F.Gross，G.Fraser，A.Zeller，《基于搜索的系统测试：高覆盖率，无误报》，载于：《软件测试与分析国际研讨会论文集》，2012年，第67-77页。

[25]

S.Huang，M.Cohen，A.M.Memon，《使用遗传算法修复GUI测试套件》，载于：《软件测试验证与确认国际会议论文集》，2010年，第245-254页。

数字图书馆

[26]

M.Hutchins，H.Foster，T.Goradia，T.Ostrand，《基于数据流和控制流的测试充分性标准的有效性实验》，载《软件工程国际会议论文集》，1994年，第191-200页。

[27]

M.Hutchins，H.Foster，T.Goradia，T.Ostrand，《基于数据流和控制流的测试充分性标准的有效性实验》，载《第16届国际软件工程会议论文集》，1994年，第191-200页。

数字图书馆

[28]

J.A.Jones，M.J.Harrold，J.Stasko，《测试信息可视化以帮助故障定位》，载《软件工程国际会议论文集》，2002年，第467-477页。

[29]

A.Marchetto，P.Tonella，F.Ricca，Ajax web应用程序的基于状态的测试，摘自：《软件测试、验证和验证国际会议论文集》，2008年，第121-130页。

数字图书馆

[30]

L.Mariani、M.Pezze、O.Riganelli和M.Santoro，《AutoBlackTest:交互式应用程序的自动黑盒测试》，载于《第五届软件测试、验证和确认国际会议论文集》，2012年，第81-90页。

数字图书馆

[31]

S.McMaster，A.M.Memon，《GUI测试用例维护的可扩展启发式框架》，载于：《事件驱动软件测试技术和实验基准第一次国际研讨会论文集》，2009年，第251-254页。

[32]

A.M.Memon，Q.Xie，《研究快速发展软件的GUI测试用例的故障检测有效性》，IEEE Trans。柔和。工程，31（2005）884-896。

数字图书馆

[33]

A.M.Memon、M.E.Pollack、M.L.Soffa，使用自动规划生成分层GUI测试用例，IEEE Trans。柔和。工程，27（2001）144-155。

数字图书馆

[34]

A.Memon，I.Banerjee，A.Nagarajan，GUI ripping:测试图形用户界面的逆向工程，收录于：《逆向工程工作会议记录》，2003年，第260-269页。

[35]

A.M.Memon，测试图形用户界面的综合框架（博士论文），2001年。

[36]

A.M.Memon，自动修复用于回归测试的基于事件序列的GUI测试套件，ACM Trans。柔和。工程方法。，18 (2008) 1-36.

数字图书馆

[37]

B.Myers，M.B.Rosson，《用户界面编程调查》，SIGCHI计算机系统人为因素会议论文集（1992）195-202。

[38]

G.J.Myers，《软件测试的艺术》，John Wiley&Sons Inc.，2004年。

[39]

A.S.Namin，J.H.Andrews，《规模和覆盖率对测试套件有效性的影响》，载于：《第18届软件测试与分析国际研讨会论文集》，2009年，第57-68页。

[40]

B.Nguyen、B.Robbins、I.Banerjee、A.Memon、GUITAR：GUI-driven软件自动化测试的创新工具Autom。柔和。工程（2013）1-41。

[41]

N.Nyman，使用猴子测试工具，Softw。测试。资格。工程杂志（2000）18-21。

[42]

P.Piwowarski，M.Ohba，J.Caruso，《功能测试期间的覆盖测量经验》，载于：《第15届软件工程国际会议论文集》，1993年，第287-301页。

数字图书馆

[43]

X.Qu，M.B.Cohen，G.Rothermel，《配置软件回归测试：抽样和优先级的实证研究》，载《软件测试与分析国际研讨会论文集》，2008年，第75-86页。

[44]

E.Reisner，C.Song，K.-K.Ma，J.S.Foster，A.Porter，《使用符号评估来理解可配置软件系统中的行为》，载于：《软件工程国际会议论文集》，2010年，第445-454页。

[45]

G.Rothermel，S.Elbaum，A.G.Malishevsky，P.Kallakuri，X.Qiu，《关于测试套件组成和成本效益回归测试》，ACM Trans。柔和。工程方法。，13 (2004) 277-331.

数字图书馆

[46]

R.Shehady，D.Siewiorek，《使用可变有限状态机自动化用户界面测试的方法》，载于：《容错计算国际研讨会论文集》，1997年，第80-88页。

[47]

C.Song，A.Porter，J.S.Foster，《iTree：使用交互树高效发现高覆盖配置》，摘自：《软件工程国际会议论文集》，2012年，第903-913页。

[48]

SourceForge.net:GUITAR主页-吉他。http://guitar.sourceforge.net。

[49]

J.Strecker，A.M.Memon，《测试技术评估中缺陷特征的说明》，ACM Trans。柔和。工程方法。，21 (2012) 17:1-17:43.

数字图书馆

[50]

L.White，H.Almezen，使用完整的交互序列生成GUI职责的测试用例，载于：《软件可靠性工程国际研讨会论文集》，2000年，第110-121页。

[51]

L.White，H.Almezen，N.Alzeidi，GUI序列及其交互的基于用户的测试，载《软件可靠性工程国际研讨会论文集》，2001年，第54-63页。

[52]

J.A.Whittaker，《随机软件测试》，Ann.Softw。工程，4（1997）115-131。

数字图书馆

[53]

Q.Xie，A.Memon，《研究‘好’GUI测试套件的特性》，载于：IEEE软件可靠性工程国际研讨会论文集，2006年，第159-168页。

数字图书馆

[54]

Q.Xie，A.M.Memon，《为基于GUI的软件应用程序设计和比较自动化测试预言》，ACM Trans。柔和。工程方法。，16 (2007).

[55]

Q.Xie，A.M.Memon，《使用初步研究导出自动化测试的GUI模型》，ACM Trans。柔和。工程方法。，18 (2008) 7:1-7:35.

数字图书馆

[56]

yED-曲线图编辑器。http://www.yworks.com/en/products_yed_about.html。

[57]

X.Yuan，A.M.Memon，迭代执行反馈模型导向GUI测试，J.Inf.Softw。技术。，52 (2010) 559-575.

数字图书馆

[58]

X.Yuan，A.M.Memon，使用GUI运行时状态反馈生成基于事件序列的测试用例，IEEE Trans。柔和。工程，36（2010）81-95。

数字图书馆

[59]

X.Yuan，M.B.Cohen，A.M.Memon，GUI交互测试：结合事件上下文，IEEE Trans。柔软。工程，37（2011）559-574。

数字图书馆

引用人

聂L赛义德·K马勒郑毅赵Y(2023)移动应用程序图形用户界面测试的系统映射研究IET软件10.1049/sfw2.1212317:3(249-267)在线发布日期：2023年3月2日
https://dl.acm.org/doi/10.1049/sfw2.12123
徐T平移M裴勇俊李G曾X张T邓Y李X卡达尔C张X(2021)指南：Android应用程序的GUI结构和视觉联合指导测试脚本修复第30届ACM SIGSOFT软件测试与分析国际研讨会论文集10.1145/3460319.3464830(191-203)在线发布日期：2021年7月11日
https://dl.acm.org/doi/10.1145/3460319.3464830
赛义德·K聂L阿吉布德A周X(2020)移动应用程序的GUI测试：目标、方法和挑战第十二届亚太互联网研讨会论文集10.1145/3457913.3457931(51-60)在线发布日期：2020年11月1日
https://dl.acm.org/doi/10.1145/3457913.3457931
显示更多引用者

索引术语

基于模型和基于动态事件提取的GUI测试技术的比较
1. 软件及其工程
  1. 软件创建和管理
    1. 软件验证和确认
      1. 软件缺陷分析
        软件测试和调试

索引项已通过自动分类分配给内容。

建议

从过渡到基于模型的GUI测试中吸取的教训
2019年A-TEST：第十届ACM SIGSOFT自动化测试用例设计、选择和评估国际研讨会会议记录

基于模型的测试（MBT）被认为是一种有效且通用的测试图形用户界面（GUI）的方法，它可以通过GUI模型自动生成可执行的测试用例。基于模型的GUI测试越来越多。。。
阅读更多信息
GUI交互测试：合并事件上下文

图形用户界面（GUI）由于其事件驱动的特性，为用户与软件交互提供了一种巨大且潜在的无限方式。在测试期间，“充分覆盖”这个交互空间非常重要。在本文中，我们。。。
阅读更多信息
使用GUI运行时状态反馈生成基于事件序列的测试用例

本文提出了一种全自动的模型驱动技术，用于为基于图形用户界面（GUI）的应用程序生成测试用例。该技术使用来自“种子测试套件”执行的反馈，该套件是使用。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片《系统与软件杂志》

系统与软件杂志第97卷C期

2014年11月

206页

ISSN公司：0164-1212

版权所有©Elsevier Inc。

出版商

爱思唯尔科学公司。

美国

出版历史

出版：2014年10月1日

作者标记

限定符

研究文章

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

5
引文总数
查看引文
0
总下载次数

下载次数（过去12个月）0
下载次数（最近6周）0

其他指标

查看作者指标

引文

引用人

聂L赛义德·K马勒郑毅赵Y(2023)移动应用程序图形用户界面测试的系统映射研究IET软件10.1049/sfw2.1212317:3(249-267)在线发布日期：2023年3月2日
https://dl.acm.org/doi/10.1049/sfw2.12123
徐T平移M裴勇俊李G曾X张T邓Y李X卡达尔C张X(2021)指南：Android应用程序的GUI结构和视觉联合指导测试脚本修复第30届ACM SIGSOFT软件测试与分析国际研讨会论文集10.1145/3460319.3464830(191-203)在线发布日期：2021年7月11日
https://dl.acm.org/doi/10.1145/3460319.3464830
赛义德·K聂L阿吉布德A周X(2020)移动应用程序的GUI测试：目标、方法和挑战第十二届亚太地区互联网软件研讨会论文集10.1145/3457913.3457931(51-60)在线发布日期：2020年11月1日
https://dl.acm.org/doi/10.1145/3457913.3457931
阿达莫D可汗M科普拉S布莱斯·RPrasetya W公司Vos T公司盖蒂尔S(2018)Android GUI测试的强化学习第九届ACM SIGSOFT自动化测试用例设计、选择和评估国际研讨会会议记录10.1145/3278186.3278187(2-8)在线发布日期：2018年11月5日
https://dl.acm.org/doi/10.1145/3278186.3278187
贝克·YBae D公司低D阿佩尔S库尔希德S(2016)使用多级GUI比较标准的基于模型的自动化Android GUI测试第31届IEEE/ACM自动化软件工程国际会议论文集10.1145/2970276.2970313(238-249)在线发布日期：2016年8月25日
https://dl.acm.org/doi/10.1145/2970276.2970313

视图选项

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

媒体

数字

其他

桌子

查看问题目录