说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

应用生与死:移动测试究竟该怎么搞?

HTML文档下载 WORD文档下载 PDF文档下载
移动测试一直被开发团队所轻视,可你却不得不承认它存在的必要性,几乎关系到一个应用的生死。本期圆桌论坛,Testin CEO王军带领CTO徐琨,联合e袋洗创始人张荣耀等一起探讨移动测试本质,以及移动测试究竟该怎么搞。

测试行业伴随着IT产业发展了数十年,但依旧面临着众多问题。尤其是在移动应用当中,测试工作总会被开发团队所轻视,可最后却又成了不容忽视的沉重包袱。不过也因此,各种云测试工具平台才有了用武之地,代替开发者进行测试,并提供测试报告和优化建议等。但面对现在市场上各式各样的测试服务,你真的了解它吗?


这次,Testin CEO王军带领CTO 徐琨,并联合e袋洗创始人张荣耀等O2O行业创业者,一起探讨关乎移动应用生死的测试是怎么一回事,以及它的未来发展。

提问:大部分App都处于开发者知道Bug在哪,只是还未来得及改的状态,而真正需要专门测试的则是那些运行很久的App。那么,像你们这样的测试公司主要做的是哪些?

王军:第一个是兼容性测试,解决你在实验室开发环境中没有办法去测试性能、兼容性,包括iOS、Android;第二个是崩溃分析,解决的是在运行过程中有崩溃、闪退,这种开发人员无法自己判断的技术问题;第三个就是众测。

用户体验方面,比如一个应用进行版本更新时,新版与旧版哪个更好用是产品设计人员和开发人员无法内部搞定的,只有找用户进行测试,最终的较为高端的才是Bug。而像O2O应用,特别是牵扯到钱的,如果出现用户体验问题将是一个巨大的灾难。所以,不久之后,我们会进一步开发出API,获取App的情况,不过测试公司不会知道它的UP值、支付和订单,却能够这些信息反馈给你,当App崩溃时,比如支付不了,无法定位或其他环节失败时,告诉你具体的情况。

其实这是玩游戏的人干的事,最开始帮游戏厂商做,游戏说打到第几关,为什么不玩,在哪个环节失败,因为游戏是很苛刻的,用户绝对用脚投票。但 现在,O2O对这个需求更强,小到钱的问题,大到人生安全,这都是很关键的,这些信息以后都会开放出来。

提问:最近看到一种很有效的方式,前端客服或销售人员在与客户接触,发现问题时立即反馈,同时相关的研发人员手机会收到提醒,将相应的问题解决并反馈到前端。这样的高效手法,有什么样的要求与难度?

王军:这种使用场景,第一要求实施性很强;第二接触环境很复杂。首先公司已经发展到一定规模,其次用户和质量体系已经很完善。但是这个时候,众测怎么帮分享客户解决问题,也是要沟通的一点。比方说刚才问题,做的兼容测试、风控分析,解决重点客户的质量问题,把用户统计变成用户质量分析,那完全不一样。众测这件事过去我们是做为一个企业内部给企业客户提供的,现在我们把它变成一个公共平台,把各个公司测试专家,以及自身的测试专家把它能力拿出来,这个事情往下做是不是可做,有没有前景,希望我们怎么做,还有没有可能说各位起个头,在初期阶段。

提问:如果应用测试都是那些专职的人来做的话,那么他们会不会存在一些盲点?

徐琨:这个会按需驱动,以后可以打包,比如功能便利是一块,然后在功能便利之外,再做Bug探索,Bug探索更多的是找一些没有用过这个App的人,然后制定模块来做,来防止专职人员的盲点。功能便利的话,更多的是专业的来做,因为这样效率更高。未来会把整个服务整合到一起,包括金融支持。

提问:一般来说,自动测试和人工测试出来的Bug类型,有什么区别?以后你们会不会有自动化的测试?

徐琨:自动化的测试,更多的是信息崩溃和反馈,而人工测试可以发现功能上的问题,比如图标消失,或1+1=2,结果你输出的是错误的,这些都很难用自动化来测出来。自动化的测试是指,安装是否成功,卸载是不是顺利,跑的时候,我们能不能进入到这个页面上,这些简单的兼容式的,可以由自动化来做。

王军:自动化测试已经有了积累,比如Bug工具跟踪,Bug日志的分析。其实我刚才想了,今天O2O解决的是众多的闲散社会人员,把他们的力量聚合在一起,成为中国最大的人才。为供需双方提供一个平台, 可能只是分享还不算是O2O,它是为O2O服务的工具。我觉得我们也是O2O,把专家能力变成O2O的东西。

提问:测试中性能监测是怎样的一个情况,它的重要性如何?

王军:性能监测就是我们把基础数据给开发商,他们拿数据做用户画像的对应关系,跟他的CM接起来,这个时候就会判断出,什么样的客户在什么时候出现问题了。而这个就相当于是我们从质量问题延伸到了商业智能这块。说一个很简单的道理,比如微微拼车,有一些情况在北京市从来不发生。一旦出北京到河北了,拼车出现问题了,这个时候可能App用不起来,原因不是APP本身的问题。也许可能在某一个地方没有部署好或是那个地方网络出问题了。有些事情不会关系到整个服务的完成,有些时候却很重要,涉及到支付和安全,恰巧在那个时候出现了翻车,或者是其它的这种灾害,你总得有一个记录,而这个时候恰恰数据丟了。所以我们可以通过这种情况,输出一半数据,另一半的秘钥掌握在运营者手上,他可以根据他的用户数据库,将信息衔接起来。

张荣耀:O2O方面,开始大家都是覆盖业务,但这个阶段过后,一定会愈发注重性能监测。原因是,到那个时候大家都是在同等条件下,拼的就是谁的服务更强。也就是在同样的环境下,哪家的应用能用或更加好用。现在已经不是当初的圈地时期,领域中最关键的已经是服务品质。而性能监控能够反映出你产品的运营能力,从而进行不断地完善,以满足现在用户体验的高需求,留住更多的用户。

提问:应用有生有死,不可能无穷无尽的冒出来,到一定程度的时候,用户数就稳定了,那么下一步怎么提升自己企业的价值?

王军:我们都有这样的担心,但是我估计最后终会找到一条路。我们未来都是这样的,不过首要的是先把自己关注的领域做好,建立一个能够持续提供并能够持续增长的服务。如果我们这三年来只做测试,那估计我们这个企业就没有生存的价值了。

张荣耀:作为一个App的用户,从需求上看,现在所谓提供云技术服务的公司也好,创业者也好,包括大的平台,客户的心理应该是一样的,大家都是企业,不管是小团队还是企业,都希望是个整合提供商,提供一系列的服务。可以给App装一个SDK,但肯定不是很想在App里装多个SDK。一个集成的SDK,比如说推送服务,基础崩溃的检测服务,或者性能的检测,就是APM这块,以及一些运营的服务,都在相互交叉的做。其实在做应用的用户心中,更希望能有一家企业能够将这些服务一次性承包,如果实现这一点,将会具有超强的杀伤力。

CSDN:现在来看,每个企业还是有自己的边界,并不是所有的事情都能面面俱到。那Testin是如何把握这个界限,是否有其他发展的想法?

徐琨:Testin的目标是,最后能把这个测试服务真正变成一个第三方,大家都能接受这个概念。纯粹的云主机的市场,阿里云占到90%的市场。我觉得Testin把测试这个事情先不说90%,能影响到开发者即可以了。先做到这个层级,再说后面的事情,SDK更多的还是把整个的质量服务做完整。

王军:越有想法诱惑太大,有的时候你突然感觉你可以尝试了,那风险就来了。所以这个是很慎重的。 所以,各个企业之间要多多合作。作为行业媒体类是否能够给我们一些建议和帮助,帮助我们也是帮助整个行业。

圆桌各家交流:对以后测试发展的建议

提问:我的建议就是能不能从测试人员这块入手,像这种注册的,让更多的测试人员来参加进来,在测试人员当中有一个口碑效应,但似乎现在还没有供交流的平台。

张荣耀:这倒是真的,目前开发人员和测试者之间还没有一个交流的平台,我们今年会着手做这个事情,包括他们的成长,交流。因为之前没有做过,Testin只是一个工具。我们众测做了很长时间。其实他们有一些需要沟通,需要成长的东西,确实没有这样一个平台 。这个测试社区其实是最后一个非常真诚的建议,过去我们更强调服务本身,没强调服务提供的对象也需要情感生活,也需要社交。

提问:你们现在站在一个很好的位置,但危机感也很强,如果有一些新的模式出来的话,首先可能会取代你,其次就是资本压力会非常大,最后云测试之所以不能成功,就是缺乏一种很愉快的沟通工具,比如视频,在线,同传,达到社交模式的60%到80%的效果,如果形成工具,是非常可观的。

王军:其实我们的工具在APM里会记录,就像你记录一个步骤和流程。为什么我们现在测试完全是黑盒呢?黑盒就是我测没测你不知道,你看不到路径。但是我们现在把IC放进去,后面会把APM的路径放进去,让他测一部分,都会记录下来,测试的情况怎么样,反馈如何,通过数据统计,你可以看到我真的测试了,发现Bug以后,你就知道解决问题就可以了。手游就是这样,我们要求测试的是全部新手游党,把基本的游戏全玩通,到达支付那个环节。一个手游,熟手跑完15分钟,这是我们完全按点走的,最后以数据呈现。需要做的就是把你刚才说的这些东西,以数据的形式呈现出来。

至于视频我们分两种情况,也没有完全采用。因为视频在手游的测试占的资源太多,很多手游都跑不动。但是在应用里面这个可能是必须要做的,虽然你不一定看,也不一定关注测试的过程,但你会明确的知道应用是真的经过测试了,这一点对开发商来说是蛮重要的一点。

(文/刘璐璐 责编/唐小引)

Swift横空出世,Xcode 6 Beta有了哪些新变化? 《近匠》GameMei:简单易用、快速开发商用游戏 Gartner:2014年一季度浪潮服务器出货量中国第一 【技术博客推荐】张安站:大数据时代下的商业存储 Amazon继续登顶IaaS魔力象限,榜眼是微软而非Google 友盟Q1移动互联网报告:解读三线城市移动互联网用户 智能生活 “视”不可挡——首届TCL杯HTML5智能电视开发大赛等你来挑战 Mobile First!开源HTML5游戏引擎Kiwi.js 1.0正式发布 天天用的开发环境,你真的了解吗? 物联网时代,你的汽车也在转型 触宝输入法产品经理解析iOS 8第三方输入法开放程度 专访联想谢政维:功耗和价格是天蝎项目最大障碍! 《近匠》蚁视科技创始人覃政:ANTVR,虚拟现实的新生 后棱镜门时代:开发者保护应用安全的5大技巧 专访许鹏:谈C程序员修养及大型项目源码阅读与学习 65种GPU性能测试,AMD开源驱动领先! 一周消息树:我们从WWDC 2014收获了什么? 精益设计:“纸上谈兵”的说服力 指尖上的艺术——如何运用代码发挥无限创意 周末巨献:100+诡异的数据集,20万Eclipse Bug、死囚遗言等 TIOBE 2014年6月编程语言排行榜:Swift能否取代Objective-C? 移动游戏后端:开发还是购买?你必须知道的6件事 Vuforia SDK 3.0发布在即 全球注册开发者已逾10万 最受职场青睐的十大热门云计算技能盘点 Android Bootstrap:开发也能用模板,省时又省力! Facebook开源又一力作,欲借Broadcom开放交换机 华为敏捷网络:坚持被集成,引领ICT融合 专访赵桂华:.Net也有春天及高性能网站架构实践 《近匠》Testin:云测试除了APP和真机 还有可穿戴和汽车 应用开发利器FXForms:iOS上实现各种Form View Firefox 30正式版:支持GStreamer 1.0技术、内置全新Gecko 30内核 ADOQUERY无法更新数据集 帮我看看,怎么编译不通过 各位板主:折腾了我三天的问题还未解决。 delphi qreport byte& 是什么类型? IBM DDYS-TO9170M SCSI 硬盘,如何看它的CACHE,写者10000转的,不知道是不是? IBM DDYS-TO9170M SCSI 硬盘,如何看它的CACHE,写者10000转的,不知道是不是? 急!我在传输参数到SQL的过程中,服务器提示“AAA”需要参数但没有参数,请各位高手给个意见!在线等! 弹出窗口的问题--在线 串口工作有误了,MSComm32控件的问题?? 想知道有必要先学C 再C++ 再Visual C 吗? gqxs (小龙)请进,看到你去年的一个关于注册的帖子,我也出了像你一样的问题,请大家都来看看。 DBDateTime控件在哪里可以找到? 那为能够帮我解释一下SQLBindCol函数,特别是参数。 如何操作recordset,使其能够手动付值!即用 window nt和window 2000 server能不能象windows professional那样设成重启后自动登录。 关于语音视频聊天室 高手进入 来者得分 通过GUID枚举设备的问题请教! 代码不懂请指教 如何用javascript控制表单提交? (急急-在线等)一个复选框的问题 如何让服务器知道前来访问的客户机物理内存大小? 急,急,帮我看看。一个初级问题。 用思科1721路由器代理上网和连接网络电话功能够用吗? 请问用嵌入式系统开发的成本大约是多少? 如何获取两个日期之间相隔的天数? PB中如何操作文件。 在线等急盼tomcat启动问题 我的奔4电脑不能装oracle8。1。7 java 与oracle数值类型转换问题 请教“数字权利管理”(digital rights management)和P3P的实现问题? IBM DDYS-TO9170M SCSI 硬盘,如何看它的CACHE,写者10000转的, 数据插入速度问题 一个关于自定义类的问题,请帮助! 如何使用DBchart? DELPHI+CORBA 求救!!!! 请问java中如何获得windows的系统目录? 大家看看这台服务是出了什么问题?帮帮忙!!! 一个想把控件内容打印出来的小问题! 如何查看表中各字段的长度? 谁能给出一个ASP.NET应用存储过程的例子 self::node()是否就是 . 高分求救::关于分类显示的问题. c#里的编辑列的激活事件写在哪里? 一个基础小测验 如何获取客户端机器物理内存大小?急!!! 急问:我的VC6.0里的Icon编辑器为什么只有16种颜色 谁有这样的曲线绘图源码,一定重分相谢! 怎样去除启动菜单? 调用自建文件时,报错“重复定义”,为什么? Rave做报表时,要求preview时,不出现那个OutPut Options,并且预览时,要求全屏显示 请问映射文件里添加纪录应该怎么做阿 1,2,4-三氮唑衍生物有谁有这种物质的合成,应用,及配合物制备,晶体结构性质. 我想问下刍字的读音啊 中国现在有谁在翻译日版的毛利元就的历史小说吗,能想山冈庄八的德川家康什么么的一样出版吗? 佩戴南红玛瑙有什么好处 维c是酸性还是碱性 "大启而宇,长发其祥"这副对联,是祝贺公司开业者的吗?大神们帮帮忙 1.you pleased meet you2.my how's patient favourite?3.last was money here right there some4.it wash can't off you 5.a you date got have? tu Si du sport etre fais les jours.tu ne pouvons curir veux pas nous marcher SiSi etre reposez-vous votre dans vous chambre fatiguestu mal au Si ventre allonge ton lit as sur restemerci beaucoup! typical是个什么品牌 与椭圆x^2/49+y^2/24=1 有公共交点,而且离心率e=5/4 求双曲线标准方程 Physical Preparation 的翻译 奥巴马提名两名竞选支持者为美国驻外大叙利亚总统巴沙尔再颁大赦令金华男子貌若金城武 3个姑娘心甘情愿第13届中国网络媒体论坛在郑州举行 雪糕也有怪味 日本北之雪糕屋华人油画家潘义奎:艺术家应心怀美好美国华人要求美电视台就播出“杀光中国AKB48将于2014年举行乐曲总选中国与苏联老兵在京见面 促进中俄世代北海舰队两大编队在西太演练导弹攻防(以色列将在东耶路撒冷新建1500个犹江铃剑指百万目标杜绝“说坏话”,还靠“真批评”宝山“区港联动”提升邮轮经济能级民进市委纪念马叙伦雷洁琼感受“不朽的梵高”福特“性能车”抱团出击电子警察日均查违法1700起雪铁龙AIRCROSS全球首秀长三角多地冰雹大如鸡蛋中华人民共和国上海海事局航行通告东风雷诺导入卡缤特务之王封仙真传亡灵元素使天灵圣殿小小战争我是将军重生大修士龙胖子历险记修仙之夜岆途末世一天师未央宫遗址旅游洪楼教堂旅游船政博物馆旅游大坪山旅游小韭菜沟旅游慈云塔旅游静安别墅旅游醉白池旅游古猗园旅游宁波海洋世界旅游宁波博物馆旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘