“上海软件中心杯”开发者测试大赛-个人赛

比赛时间:2017年6月10日9:00-12:00
比赛地点:mooctest.net
比赛内容:登录慕测平台,报名“2017年大学生软件测试大赛-开发者测试(个人)”,下载安装Eclipse客户端虚拟机,在比赛前完成“我的任务”中的“2017开发者测试资格练习”并达到规定分数。
评分标准:(1) 评分标准1:分支覆盖率(50%),覆盖分支数/总分支数*50;
(2) 评分标准2:Bug检测率(50%),由pitest.org注入变异(Bug),Bug杀死数/Bug总数*50;
(3) 预选赛两道题,两道题分数相加得总分;
(4) 总分相同按测试用例集运行时间二次排名,运行时间短优先。
夏季赛题:(1)Datalog,该程序主要用于知识和规则的处理与计算,代码行数 580,变异数量 159。 (2) LunarCalendar,该程序主要用于农历日期计算和校验,代码行数1162,变异数量 549。

比赛时间:2017年10月15日9:00-12:00
比赛地点:mooctest.net
比赛准备:登录慕测平台,报名“2017软件测试大赛-开发者测试(个人)”,下载安装Eclipse客户端虚拟机,在10月13日20:00前进行“2017开发者测试资格练习”且有成功提交。
比赛内容:组委会提供来自开源社区Java程序源码-两道题,选手理解程序后开始编写Junit测试脚本,可任意次提交测试脚本。
评分标准:(1) 评分标准1:分支覆盖率(50%),覆盖分支数/总分支数*50;
(2) 评分标准2:Bug检测率(50%),由pitest.org注入变异(Bug),Bug杀死数/Bug总数*50;
(3) 预选赛两道题,两道题分数相加得总分;
(4) 总分相同按测试用例集运行时间二次排名,运行时间短优先。

比赛时间:10月22日9:00-12:00
比赛地点:各分区确定
比赛内容:组委会提供来自开源社区Java程序源码-两道题,选手理解程序后开始编写Junit测试脚本,可任意次提交测试脚本。
评分标准:(1) 评分标准1:分支覆盖率(50%),覆盖分支数/总分支数*50;
(2) 评分标准2:Bug检测率(50%),由pitest.org注入变异(Bug),Bug杀死数/Bug总数*50;
(3) 预选赛两道题,两道题分数相加得总分;
(4) 总分相同按测试用例集运行时间二次排名,运行时间短优先。

比赛时间:比赛时间:10月28日
比赛地点:南京
比赛内容:组委会提供来自开源社区的Java程序代码,在慕测平台的Eclipse客户端虚拟机上完成JUnit测试脚本。
评分标准:
(1) 评分标准1:动态加权语句覆盖率;
(2) 评分标准2:动态加权Bug检测率;
(3) 评分标准1和2按指定权重计算得该题总分,具体权重看题目要求;
(4) 总分相同的选手按测试用例集运行时间二次排名,运行时间短优先。
备注:评分标准1和2中的动态权重为(n/k),其中n为该分区决赛参赛人数,k为该得分点(覆盖或者Bug)的得分人数,只计算k不为0的得分点。


“智测云杯”移动应用测试大赛-个人赛

比赛时间:2017年6月10日14:00-17:00
比赛地点:mooctest.net
比赛内容:登录慕测平台,报名“2017年大学生软件测试大赛-移动应用测试(个人)”,下载安装Eclipse客户端虚拟机,在比赛前完成“我的任务”中的“2017移动应用测试资格练习”并达到规定分数。
评分标准:(1) 预选赛发布两道题,每道题计算Appium脚本的测试需求对象覆盖率,即在需求范围内,覆盖对象数/总对象数*100,两道题相加得总分;
(2) 覆盖总分相同,则两道题测试脚本运行时间相加进行二次排序(短优先);
(3) 运行时间相同,则按Appium脚本的运行稳定性进行三次排序。
夏季赛题:(1)“计算管家”是一个复杂运算的计算工具,支持添加文字备注、记录保存、函数、开方等多重功能。
(2) “TesterHome”是国内面向移动测试的交流社区,专注于移动测试和Web测试技术研究。

比赛时间:2017年10月14日14:00-17:00
比赛地点:mooctest.net
比赛准备:登录慕测平台,报名“2017大学生软件测试大赛-移动应用测试(个人)”,下载安装Eclipse客户端虚拟机,在10月13日20:00前进行“2017移动应用测试资格练习”并有成功提交。
比赛内容: 组委会提供来自企业或开源社区的待测安卓App和测试需求-两道题,选手阅读测试需求后,开始编写Appium测试脚本,可任意次提交测试脚本。
评分标准:(1) 预选赛发布两道题,每道题计算Appium脚本的测试需求对象覆盖率,即在需求范围内,覆盖对象数/总对象数*100,两道题相加得总分;
(2) 覆盖总分相同,则两道题测试脚本运行时间相加进行二次排序(短优先);
(3) 运行时间相同,则按Appium脚本的运行稳定性进行三次排序。

比赛时间:10月21日14:00-18:00
比赛地点:各分区确定
比赛内容:组委会提供来自企业的待测移动应用和测试需求,在慕测平台的Eclipse客户端虚拟机上完成Appium测试脚本;在智测云平台完成人工众包测试。
评分标准: (1) 评分标准1:Appium脚本的测试需求覆盖率;
(2) 评分标准2:众包测试合理性和Bug发现率,具体参阅题目要求;
(3) 评分标准1和2加权累计得该题分数,具体参阅题目要求;
(4) 总分相同的选手按Appium脚本运行时间二次排名,运行时间短优先。
(5) 运行时间相同或非常接近的选手按交卷时间再次排名,交卷时间早优先。

比赛时间:比赛时间:10月28日
比赛地点:南京
比赛内容:组委会提供来自企业的待测移动应用和测试需求,在慕测平台的Eclipse客户端虚拟机上完成Appium测试脚本;在智测云平台完成人工众包测试。
评分标准: (1) 评分标准1:Appium脚本的测试需求覆盖率;
(2) 评分标准2:众包测试合理性和Bug发现率,具体参阅题目要求;
(3) 评分标准1和2加权累计得该题分数,具体参阅题目要求;
(4) 总分相同的选手按Appium脚本运行时间二次排名,短则优。
(5) 运行时间相同或非常接近的选手按交卷时间再次排名,交卷时间早优先。


“安恒杯”Web安全测试大赛-个人赛

比赛时间:2017年6月18日18:00-22:00
比赛地点:mooctest.net
比赛内容:组委会提供一系列不同知识点的Web安全测试靶机,参赛选手通过解题获得相应题目中的flag(旗标文件),并提交至评分系统,评分系统审核确认flag正确后,将自动将积分传递给选手,以获得相应的分值。
评分标准: (1) 包含10道Web安全测试题目,难度占比简单(40%)、中等(30%)、困难(30%);
(2) 大部分flag为此形式:flag{可见字符串},只需提交花括号内的可见字符串(大小写敏感);如果 flag 为其他形式,题目中会单独说明;
(3) 前三名解出题目的选手获得额外加分,分别为(题目分值*20%, 题目分值*10%,题目分值*5%);
(4) 当参赛选手积分相同时,先达到该分数的选手排名靠前。

比赛时间:2017年10月15日14:00-18:00
比赛地点:mooctest.net
比赛准备:登录慕测平台,报名“2017软件测试大赛-Web安全测试(个人)”,在10月13日20:00前完成“2017Web安全测试资格练习”。
比赛内容:组委会提供一系列不同知识点的Web安全测试靶机,参赛选手通过解题获得相应题目中的flag(旗标文件),并提交至评分系统,评分系统审核确认flag正确后,将自动将积分传递给选手,以获得相应的分值。
评分标准: (1) 包含10道Web安全测试题目,难度占比简单(40%)、中等(30%)、困难(30%);
(2) 大部分flag为此形式:flag{可见字符串},只需提交花括号内的可见字符串(大小写敏感);如果 flag 为其他形式,题目中会单独说明;
(3) 前三名解出题目的选手获得额外加分,分别为(题目分值*20%, 题目分值*10%,题目分值*5%);
(4) 当参赛选手积分相同时,先达到该分数的选手排名靠前。

比赛时间:10月22日8:30-12:30
比赛地点:各分区确定
比赛内容:组委会提供一系列不同知识点的Web安全测试靶机,参赛选手通过解题获得相应题目中的flag(旗标文件),并提交至评分系统,评分系统审核确认flag正确后,将自动将积分传递给选手,以获得相应的分值。
评分标准: (1) 包含10道Web安全测试题目,难度占比简单(40%)、中等(30%)、困难(30%);
(2) 大部分flag为此形式:flag{可见字符串},只需提交花括号内的可见字符串(大小写敏感);如果 flag 为其他形式,题目中会单独说明;
(3) 前三名解出题目的选手获得额外加分,分别为(题目分值*20%, 题目分值*10%,题目分值*5%);
(4) 当参赛选手积分相同时,先达到该分数的选手排名靠前。

比赛时间:比赛时间:10月28日
比赛地点:南京
比赛形式待定。


“凯云杯”嵌入式测试大赛-个人赛

比赛时间:2017年6月10日9:00-12:00
比赛地点:mooctest.net
比赛内容:登录慕测平台,报名“2017年大学生软件测试大赛-开发者测试(个人)”,下载安装Eclipse客户端虚拟机,在比赛前完成“我的任务”中的“2017开发者测试资格练习”并达到规定分数。
评分标准:(1) 评分标准1:分支覆盖率(50%),覆盖分支数/总分支数*50;
(2) 评分标准2:Bug检测率(50%),由pitest.org注入变异(Bug),Bug杀死数/Bug总数*50;
(3) 预选赛两道题,两道题分数相加得总分;
(4) 总分相同按测试用例集运行时间二次排名,运行时间短优先。
夏季赛题:“共享单车系统”的锁具控制模块,从服务器接收和反馈开关锁指令,从GPS接收单车的位置与时间信息,上报给服务器。

比赛时间:2017年10月14日8:30-12:30
比赛地点:mooctest.net
比赛准备:登录慕测平台,报名“2017软件测试大赛-嵌入式测试(个人)”,在10月13日20:00前完成“2017嵌入式测试资格练习”。
比赛内容:组委会提供基于互联网的模拟嵌入式测试任务-一道题,对模拟嵌入式应用程序进行基于工具的自动化黑盒测试。
评分标准: (1) 评分标准1:Bug检测率;
(2) 评分标准2:测试脚本及测试数据质量评价;
(3) 评分标准1和2进行加权累计得该题总分;
(4) 总分相同选手根据最后一次提交时间二次排名。
大赛资料下载:http://pan.baidu.com/s/1kUYFWQr。提取码: nivc
秋季赛题:秋季赛依然采用夏季赛题目“共享单车系统”。测试对象不变,但测试需求和预埋Bug变化。

比赛时间:10月21日8:30-12:30
比赛地点:各分区确定
比赛内容:组委会提供基于互联网的模拟嵌入式测试任务,对模拟嵌入式应用程序进行基于工具的自动化黑盒测试。
评分标准: (1) 评分标准1:Bug检测率;
(2) 评分标准2:测试脚本及测试数据质量评价;
(3) 评分标准1和2进行加权累计得该题总分;
(4) 总分相同选手根据最后一次提交时间二次排名。

比赛时间:比赛时间:10月28日 14:00-18:00
比赛地点:南京
比赛内容:组委会提供来自凯云的嵌入式测试设备(ETest)及测试任务,完成测试。
评分标准: (1) 评分标准1:Bug检测率;
(2) 评分标准2:测试脚本及测试数据质量评价;
(3) 评分标准1和2进行加权累计得该题总分;
(4) 总分相同选手根据最后一次提交时间二次排名。


“珠海评测杯”移动应用测试大赛-团体赛

比赛时间:2017年6月18日14:00-17:00
比赛地点:mooctest.net
比赛准备:登录慕测平台,队长报名“2017软件测试大赛-移动应用测试(团队)”,下载安装Eclipse客户端虚拟机,队长在10月12日24:00前进行“2017移动应用测试资格练习”并有成功提交。
比赛内容:组委会提供来自开源社区或企业的待测安卓App应用和测试需求-一道题,团队使用队长账户在慕测平台完成众包测试报告;同时提交Appium测试脚本。
评分标准: (1) 众包测试标准:众包测试的合理性和Bug发现率;具体参阅题目要求;
(2) Appium测试标准:Appium脚本的测试需求覆盖率和运行时间;
(3) 分数累加合计总分进行团队排序;
(4) 总分相同团队按最后一次提交时间二次排序,早则优。
注:仅限高职高专选手

比赛时间:2017年10月14日14:00-17:00
比赛地点:mooctest.net
比赛准备:登录慕测平台,队长报名“2017软件测试大赛-移动应用测试(团队)”,下载安装Eclipse客户端虚拟机,队长在10月13日20:00前进行“2017移动应用测试资格练习”并有成功提交。
比赛内容:组委会提供来自开源社区或企业的待测安卓App应用和测试需求-一道题,团队使用队长账户在慕测平台完成众包测试报告;同时提交Appium测试脚本。
评分标准: (1) 众包测试标准:众包测试的合理性和Bug发现率;具体参阅题目要求;
(2) Appium测试标准:Appium脚本的测试需求覆盖率和运行时间;
(3) 分数累加合计总分进行团队排序;
(4) 总分相同团队按最后一次提交时间二次排序,早则优。
注:仅限高职高专选手

比赛时间:10月21日14:00-18:00
比赛地点:各分区确定
比赛内容:组委会提供来自开源社区或企业的待测移动应用和测试需求,在慕测平台完成众包测试报告;在Eclipse客户端虚拟机上完成Appium测试脚本。
评分标准: (1) 众包测试标准:众包测试的合理性和Bug发现率;具体参阅题目要求;
(2) Appim测试标准:Appium脚本的测试需求覆盖率和运行时间;
(3) 分数累加合计总分进行团队排序。
(4) 总分相同团队按最后一次提交时间二次排序,早则优。
注:仅限高职高专选手

比赛时间:比赛时间:10月28日
比赛地点:南京
比赛内容:组委会提供来自开源社区或企业的待测移动应用和测试需求,在慕测平台完成众包测试报告;在Eclipse客户端虚拟机上完成Appium测试脚本。
评分标准: (1) 众包测试标准:众包测试的合理性和Bug发现率;具体参阅题目要求;
(2) Appium测试标准:Appium脚本的测试需求覆盖率和运行时间;
(3) 分数累加合计总分进行团队排序。
(4) 总分相同团队按最后一次提交时间二次排序,早则优。
注:仅限高职高专选手


“泽众杯”Web应用测试大赛-团体赛

比赛时间:2017年6月18日14:00-18:00
比赛地点:mooctest.net
比赛内容:组委会提供来自开源社区或企业的待测Web应用和测试需求,在慕测平台完成众包测试报告;获取任务案例秘钥后,使用Firefox+Selenium IDE生成脚本;获取任务案例秘钥后,登录Performance Runner平台完成性能测试报告。
预选赛发布1个待测Web应用和3项测试需求
评分标准: (1) 测试需求1:人工测试设计和测试报告(包括等不限于兼容性、易用性、功能和性能缺陷报告等),评审专家根据测试设计的合理性和完整性(20%),测试报告的有效性和完整性(20%)进行综合评分;
(2) 测试需求2:Selenium脚本的测试需求覆盖率以及合理性(30%);
(3) 测试需求3:泽众PR性能测试脚本参数设定准确性以及合理性(30%);
(4) 总分相同团队按最后提交时间二次排序,早则优。
备注: (1) 团队3人用其中1人获得预算赛资格即有团队比赛资格;
(2) 团队3人用其中1人账号登录,相互讨论配合完成测试任务;
(3) 慕测平台支持单一账号多人登录,但要注意不要同时提交相同内容项,以免信息冲突丢失;
(4) 为了进一步提高比赛质量,组委会6月13日晚上发布一道综合练习题供团队练习。
注:仅限高职高专选手

比赛时间:2017年10月14日8:30-12:30
比赛地点:mooctest.net
比赛准备:登录慕测平台,队长报名“2017软件测试大赛-Web应用测试(团队)”,队长在10月13日20:00前进行“2017Web应用测试资格练习”并有成功提交。
比赛内容:组委会提供来自开源社区或企业的待测Web应用和测试需求,在慕测平台完成众包测试报告;获取任务案例秘钥后,使用Firefox+Selenium IDE生成脚本;获取任务案例秘钥后,登录Performance Runner平台完成性能测试报告
预选赛发布1个待测Web应用和3项测试需求
评分标准: (1) 测试需求1:人工测试设计和测试报告(包括等不限于兼容性、易用性、功能和性能缺陷报告等),评审专家根据测试设计的合理性和完整性(20%),测试报告的有效性和完整性(20%)进行综合评分;
(2) 测试需求2:Selenium脚本的测试需求覆盖率以及合理性(30%);
(3) 测试需求3:泽众PR性能测试脚本参数设定准确性以及合理性(30%);
(4) 总分相同团队按最后提交时间二次排序,早则优。
注:仅限高职高专选手

比赛时间:10月21日8:30-12:30
比赛地点:各分区确定
比赛内容:组委会提供来自开源社区或企业的待测Web应用和测试需求,在慕测平台完成众包测试报告;获取任务案例秘钥后,使用Firefox+Selenium IDE生成脚本;获取任务案例秘钥后,登录Performance Runner平台完成性能测试报告
预选赛发布1个待测Web应用和3项测试需求
评分标准: (1) 测试需求1:人工测试设计和测试报告(包括等不限于兼容性、易用性、功能和性能缺陷报告等),评审专家根据测试设计的合理性和完整性(20%),测试报告的有效性和完整性(20%)进行综合评分;
(2) 测试需求2:Selenium脚本的测试需求覆盖率以及合理性(30%);
(3) 测试需求3:泽众PR性能测试脚本参数设定准确性以及合理性(30%);
(4) 总分相同团队按最后提交时间二次排序,早则优。
注:仅限高职高专选手

比赛时间:比赛时间:10月28日
比赛地点:南京
比赛内容:组委会提供来自开源社区或企业的待测Web应用和测试需求,在慕测平台完成众包测试报告;同时获取秘钥后,使用Selenium WebDriver生成脚本。
同时发布2道题目,团队合作完成
评分标准: (1) 评分标准1:Selenium脚本的测试需求覆盖率以及成功回放率;
(2) 评分标准2:泽众PR性能测试脚本的场景设置和参数设定准确性以及成功回放率;
(3) 评分标准3:众包测试的合理性和Bug发现率;具体参阅题目要求;
(4) 分数累加合计总分进行团队排序。
(5) 总分相同团队按最后一次提交累计时间二次排序,早则优。
注:仅限高职高专选手

指导单位

  • 教育部软件工程专业教学指导委员会
  • 中国计算机学会软件工程专业委员会
  • 中国软件测评机构联盟
  • 中国计算机学会系统软件专业委员会
  • 中国计算机学会容错计算专业委员会

总承办单位

  • 南京大学
  • 陆军工程大学
  • 金陵科技学院
  • 南京慕测信息科技有限公司
  • 江苏省软件新技术与产业化协同创新中心

分项承办单位

  • 上海市计算机软件评测重点实验室
  • 中国信息通信研究院
  • 杭州安恒信息技术有限公司
  • 凯云联创(北京)科技有限公司
  • 珠海南方软件网络评测中心
  • 上海泽众软件科技有限公司

分赛区赞助商

  • 苏州洞察云信息技术有限公司
  • 广东拓思软件科学园有限公司
  • 山东道普测评技术有限公司
  • 西安葡萄城信息技术有限公司
  • 重庆东软睿道信息技术有限公司

银牌赞助商

  • 百度MTC移动云测试中心
  • 北京云测信息技术有限公司
  • 北京大开科技有限公司

云平台赞助商

  • 杭州数梦工场科技有限公司

支持单位

  • IEEE Reliability Society
  • CSTQB
  • TesterHome
  • AppetizerIO