说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

应用生与死:移动测试究竟该怎么搞?

HTML文档下载 WORD文档下载 PDF文档下载
移动测试一直被开发团队所轻视,可你却不得不承认它存在的必要性,几乎关系到一个应用的生死。本期圆桌论坛,Testin CEO王军带领CTO徐琨,联合e袋洗创始人张荣耀等一起探讨移动测试本质,以及移动测试究竟该怎么搞。

测试行业伴随着IT产业发展了数十年,但依旧面临着众多问题。尤其是在移动应用当中,测试工作总会被开发团队所轻视,可最后却又成了不容忽视的沉重包袱。不过也因此,各种云测试工具平台才有了用武之地,代替开发者进行测试,并提供测试报告和优化建议等。但面对现在市场上各式各样的测试服务,你真的了解它吗?


这次,Testin CEO王军带领CTO 徐琨,并联合e袋洗创始人张荣耀等O2O行业创业者,一起探讨关乎移动应用生死的测试是怎么一回事,以及它的未来发展。

提问:大部分App都处于开发者知道Bug在哪,只是还未来得及改的状态,而真正需要专门测试的则是那些运行很久的App。那么,像你们这样的测试公司主要做的是哪些?

王军:第一个是兼容性测试,解决你在实验室开发环境中没有办法去测试性能、兼容性,包括iOS、Android;第二个是崩溃分析,解决的是在运行过程中有崩溃、闪退,这种开发人员无法自己判断的技术问题;第三个就是众测。

用户体验方面,比如一个应用进行版本更新时,新版与旧版哪个更好用是产品设计人员和开发人员无法内部搞定的,只有找用户进行测试,最终的较为高端的才是Bug。而像O2O应用,特别是牵扯到钱的,如果出现用户体验问题将是一个巨大的灾难。所以,不久之后,我们会进一步开发出API,获取App的情况,不过测试公司不会知道它的UP值、支付和订单,却能够这些信息反馈给你,当App崩溃时,比如支付不了,无法定位或其他环节失败时,告诉你具体的情况。

其实这是玩游戏的人干的事,最开始帮游戏厂商做,游戏说打到第几关,为什么不玩,在哪个环节失败,因为游戏是很苛刻的,用户绝对用脚投票。但 现在,O2O对这个需求更强,小到钱的问题,大到人生安全,这都是很关键的,这些信息以后都会开放出来。

提问:最近看到一种很有效的方式,前端客服或销售人员在与客户接触,发现问题时立即反馈,同时相关的研发人员手机会收到提醒,将相应的问题解决并反馈到前端。这样的高效手法,有什么样的要求与难度?

王军:这种使用场景,第一要求实施性很强;第二接触环境很复杂。首先公司已经发展到一定规模,其次用户和质量体系已经很完善。但是这个时候,众测怎么帮分享客户解决问题,也是要沟通的一点。比方说刚才问题,做的兼容测试、风控分析,解决重点客户的质量问题,把用户统计变成用户质量分析,那完全不一样。众测这件事过去我们是做为一个企业内部给企业客户提供的,现在我们把它变成一个公共平台,把各个公司测试专家,以及自身的测试专家把它能力拿出来,这个事情往下做是不是可做,有没有前景,希望我们怎么做,还有没有可能说各位起个头,在初期阶段。

提问:如果应用测试都是那些专职的人来做的话,那么他们会不会存在一些盲点?

徐琨:这个会按需驱动,以后可以打包,比如功能便利是一块,然后在功能便利之外,再做Bug探索,Bug探索更多的是找一些没有用过这个App的人,然后制定模块来做,来防止专职人员的盲点。功能便利的话,更多的是专业的来做,因为这样效率更高。未来会把整个服务整合到一起,包括金融支持。

提问:一般来说,自动测试和人工测试出来的Bug类型,有什么区别?以后你们会不会有自动化的测试?

徐琨:自动化的测试,更多的是信息崩溃和反馈,而人工测试可以发现功能上的问题,比如图标消失,或1+1=2,结果你输出的是错误的,这些都很难用自动化来测出来。自动化的测试是指,安装是否成功,卸载是不是顺利,跑的时候,我们能不能进入到这个页面上,这些简单的兼容式的,可以由自动化来做。

王军:自动化测试已经有了积累,比如Bug工具跟踪,Bug日志的分析。其实我刚才想了,今天O2O解决的是众多的闲散社会人员,把他们的力量聚合在一起,成为中国最大的人才。为供需双方提供一个平台, 可能只是分享还不算是O2O,它是为O2O服务的工具。我觉得我们也是O2O,把专家能力变成O2O的东西。

提问:测试中性能监测是怎样的一个情况,它的重要性如何?

王军:性能监测就是我们把基础数据给开发商,他们拿数据做用户画像的对应关系,跟他的CM接起来,这个时候就会判断出,什么样的客户在什么时候出现问题了。而这个就相当于是我们从质量问题延伸到了商业智能这块。说一个很简单的道理,比如微微拼车,有一些情况在北京市从来不发生。一旦出北京到河北了,拼车出现问题了,这个时候可能App用不起来,原因不是APP本身的问题。也许可能在某一个地方没有部署好或是那个地方网络出问题了。有些事情不会关系到整个服务的完成,有些时候却很重要,涉及到支付和安全,恰巧在那个时候出现了翻车,或者是其它的这种灾害,你总得有一个记录,而这个时候恰恰数据丟了。所以我们可以通过这种情况,输出一半数据,另一半的秘钥掌握在运营者手上,他可以根据他的用户数据库,将信息衔接起来。

张荣耀:O2O方面,开始大家都是覆盖业务,但这个阶段过后,一定会愈发注重性能监测。原因是,到那个时候大家都是在同等条件下,拼的就是谁的服务更强。也就是在同样的环境下,哪家的应用能用或更加好用。现在已经不是当初的圈地时期,领域中最关键的已经是服务品质。而性能监控能够反映出你产品的运营能力,从而进行不断地完善,以满足现在用户体验的高需求,留住更多的用户。

提问:应用有生有死,不可能无穷无尽的冒出来,到一定程度的时候,用户数就稳定了,那么下一步怎么提升自己企业的价值?

王军:我们都有这样的担心,但是我估计最后终会找到一条路。我们未来都是这样的,不过首要的是先把自己关注的领域做好,建立一个能够持续提供并能够持续增长的服务。如果我们这三年来只做测试,那估计我们这个企业就没有生存的价值了。

张荣耀:作为一个App的用户,从需求上看,现在所谓提供云技术服务的公司也好,创业者也好,包括大的平台,客户的心理应该是一样的,大家都是企业,不管是小团队还是企业,都希望是个整合提供商,提供一系列的服务。可以给App装一个SDK,但肯定不是很想在App里装多个SDK。一个集成的SDK,比如说推送服务,基础崩溃的检测服务,或者性能的检测,就是APM这块,以及一些运营的服务,都在相互交叉的做。其实在做应用的用户心中,更希望能有一家企业能够将这些服务一次性承包,如果实现这一点,将会具有超强的杀伤力。

CSDN:现在来看,每个企业还是有自己的边界,并不是所有的事情都能面面俱到。那Testin是如何把握这个界限,是否有其他发展的想法?

徐琨:Testin的目标是,最后能把这个测试服务真正变成一个第三方,大家都能接受这个概念。纯粹的云主机的市场,阿里云占到90%的市场。我觉得Testin把测试这个事情先不说90%,能影响到开发者即可以了。先做到这个层级,再说后面的事情,SDK更多的还是把整个的质量服务做完整。

王军:越有想法诱惑太大,有的时候你突然感觉你可以尝试了,那风险就来了。所以这个是很慎重的。 所以,各个企业之间要多多合作。作为行业媒体类是否能够给我们一些建议和帮助,帮助我们也是帮助整个行业。

圆桌各家交流:对以后测试发展的建议

提问:我的建议就是能不能从测试人员这块入手,像这种注册的,让更多的测试人员来参加进来,在测试人员当中有一个口碑效应,但似乎现在还没有供交流的平台。

张荣耀:这倒是真的,目前开发人员和测试者之间还没有一个交流的平台,我们今年会着手做这个事情,包括他们的成长,交流。因为之前没有做过,Testin只是一个工具。我们众测做了很长时间。其实他们有一些需要沟通,需要成长的东西,确实没有这样一个平台 。这个测试社区其实是最后一个非常真诚的建议,过去我们更强调服务本身,没强调服务提供的对象也需要情感生活,也需要社交。

提问:你们现在站在一个很好的位置,但危机感也很强,如果有一些新的模式出来的话,首先可能会取代你,其次就是资本压力会非常大,最后云测试之所以不能成功,就是缺乏一种很愉快的沟通工具,比如视频,在线,同传,达到社交模式的60%到80%的效果,如果形成工具,是非常可观的。

王军:其实我们的工具在APM里会记录,就像你记录一个步骤和流程。为什么我们现在测试完全是黑盒呢?黑盒就是我测没测你不知道,你看不到路径。但是我们现在把IC放进去,后面会把APM的路径放进去,让他测一部分,都会记录下来,测试的情况怎么样,反馈如何,通过数据统计,你可以看到我真的测试了,发现Bug以后,你就知道解决问题就可以了。手游就是这样,我们要求测试的是全部新手游党,把基本的游戏全玩通,到达支付那个环节。一个手游,熟手跑完15分钟,这是我们完全按点走的,最后以数据呈现。需要做的就是把你刚才说的这些东西,以数据的形式呈现出来。

至于视频我们分两种情况,也没有完全采用。因为视频在手游的测试占的资源太多,很多手游都跑不动。但是在应用里面这个可能是必须要做的,虽然你不一定看,也不一定关注测试的过程,但你会明确的知道应用是真的经过测试了,这一点对开发商来说是蛮重要的一点。

(文/刘璐璐 责编/唐小引)

新环境下的新体验是互联网硬件火热的根本原因 信息安全救星 ——变形代码产品ShapeShifter AWS启动大规模降价,引领行业降价潮流 Windows 8.1 Update 1最新版的截图再遭曝光 2013年软件领域因缺陷导致的五大事件 专访AMD技术高管 详解Kaveri技术性能及新开发特性 网络的东西南北:从SDN到网络虚拟化 Bug让Chrome浏览器成了窃听器 联想23亿美元收购IBM X86服务器硬件及服务 Mozilla联手富士康推出Firefox OS平板 基于Web提供服务 GitHub中国游记最终回——开源与车库的碰撞 学以致用,光棍极客通过大数据搞定女朋友 1月24日:Mac步入了而立之年,生日快乐! 微软2014财年Q2财报:Surface营收翻倍 趣文:假如编程语言在一起聚餐 AOL收购个性化服务公司Gravit,耗资9070万美元 谷歌三月将办Pwnium 4黑客大赛 奖金高达271.828万美元 研发周报:精简代码,为网站减负的十大建议 教育自由日:让教育资源更开放 Win8.1下解决IE11浏览器不兼容的方法 移动周报:找你妹版权战、访俄民手游、GitHub游记终回 一周消息树:1月23日全国顶级域名根服务器疑遭黑客攻击 影响巨大 下一代互联网搭建技术:高空气球,无人机,又或是卫星? 红帽认证总监:10个架构师里有4个在中国 数据中心优化的5个途径:软件定义、云计算等 收购诺基亚,微软能否再度崛起? 一周热点:阿里专家深度解析分布式系统,美团数据挖掘工程师分析企业大数据 独立游戏节:学生展示优胜者奖项得主揭晓 专访Meetup Andres Glusman:解析UX、精益创业方法论背后的强大力量 开发者不容错过的12款开源JavaScript库 搭载FusionCube,HANA内存计算助力实时运营 调查:北京和上海的pb 的程序员能挣多少钱? 谁知道用odbc连接infromix online参数怎么设?(50分 ) ASP如何实现票据打印 请问MYSQL可以支持哪些数据库文件或表格的导入? 急死我了!求教高手有关焦点的问题! 谁有《COM技术内幕》的第13章的例子的源码,送100分,谢谢先! mysql的最大链接数在哪里修改? 图像区域选取,高分求解! Shell_NotifyIcon问题 在PL_SQL中怎样用一个表中的数据去更新另一个表 oracle 9初学者 sybase的JDBC驱动字符串是什么阿?? 如何播放Flash? 我的IE不能自动填写域名了!!!第一个答对者20分! 一個很簡單的問題,在線等候,謝謝!! /usr/bin/top的原码在哪个路径下啊?小弟找了好久还是找不到急啊! 尊敬的流芳先生: 程序员考试中的一道很简单的c试题,有个问题 Sun Blade 2000 要多少钱? 活动目录中,遇到这个问题。 我的机器用程序向局域网内的另外一台机器发送一条信息,类似于发送控制台信息 [请教]会用客户端ftp软件客户端代理功能的进来帮帮忙 急求VCD的Specification! 在线紧急求助!!! 在MDI中如何更改子窗口标题? 请问有哪位好心的大哥能给我一个Bounds Checker V601_D.exe 的序列号? 100分求助如何在iPlanet中配置cgi-bin? 高分求助:请问如何确定某个窗口是否存在? 怎么样在vb中把一个excel表的数据拷贝到另一个excel中(包括行高,列宽,字体等) In Pro*c, 为什么我不能用#define UNAME_LEN 20 去定义常量. 高分 高分求《.NET开发的最佳实践与案例分析--北京讲座》示例源码及相关资料!!! 请教高手 那们有 AlphaBlend 函数的帮助中英文都行。 麻烦大家帮我看一下,代码错在那里。 详细说说rs.open sql,conn,Cursor Type,LockType 紧急求救!在线等待: 哪里可下载INTEL IPL库? 关于 我的GNOME的主Panel消失了,我该怎么办???? 一个C程序的问题求助! 请大家推荐一个支持EJB2.0 的免费的应用服务器 运行时建立数据库表 麻烦各位一下,这个错在哪了? 关于access关于自动增量的字段! 关于快捷菜单的问题。 世界上最大规模的大学生群架[真实](转载) win2000日文版与98SE怎么连接? IE6下注销用户的问题。 在线等待! 高分求助! 谁知道哪里有VB7的电子书?? php如何在长字符串中加<br>换行符,以达到强制换行目的?? 如图所示电路中,电源电压恒定,断开S1,S3,闭合S2,两电表均有示数;在断开S2,闭合S1,S3,此时两电表的如图所示电路中,电源电压恒定,断开S1,S3,闭合S2,两电表均有示数;在断开S2,闭合S1,S3, 关于南岳游记的作文我要写一篇南岳游记,虽然我去过南岳,但看了些什么我都忘了.希望大家提供些关于南岳的景色、历史、文化、传说(如果南岳有传说的话)的素材,或者告诉我写游记的方 为什么UFO出现的这么频繁呢? 我想对凡卡说300字 想去衡山旅游,想知道衡山有哪些特产?想买点特产回来送老爸和岳父 为什么外星人频繁出现不论是杭州还是广州均有大量Ufo的出现,我们国有什么值得它们频繁造访 凡卡续写300字 看云识天气 "云就像是天气的招牌" 把招牌换成代表好不好为什么 9月1日20:00,小明用天文望远镜观察到正北方向有一颗恒星,不移动望远镜,9月16日何时才能观察到这颗恒星 有错别字的街道名称急用! 哀词和冰神读后感 一个电子像一个固定不动的质子运动时,则1.有可能发射电磁波2.不.3.电子和质子组成的系统能量一定守恒4.电子和质子组成的系统动量守恒为什么不选3呢? 《天上的街市》的习题读了《天上的街市》,我仿佛看到了:( ). 续写凡卡300个字啊不过记住,在当时沙皇统治下,是不能有什麽好结局的.只会有死路一条.不要太长啊 关于各种花的文章和各种花的话花语求牡丹,茉莉,梅,桃花,向日葵,玉兰,紫罗兰,满天星,海棠的相关文章,要是名作家写的哦!如果知道一个,就说一个,说过的就不要再说了,全知道的正好,还有花 仿照五年级上册的语文书中的一篇课文《冬阳•童年•骆驼队》第四段写关于小动物的一段话!写两三句话就行!不要太多!小动物的!最好是小狗小猫~我说是最好,不是也行! 《凡卡》的续写(300字以上) "他不是个做事情的人" 如何翻译成英文? 有努力才有真正的美丽 美文400字左右 有的发 凡卡的续写300字以上. 这不是正常人会做的事 怎么翻译成英语 记金华的双龙洞,按浏览顺序依次写了双龙洞的什么? 六年级课文有破折号的句子 哪有高一英语听力 课文手指的理解和感受课文[手指]中说说对它的理解和感受 说说自己的见解是怎样获得的 是如何加深的 错别字作文要400字 艾青 太阳的话 的写作背景就是她当时是在什么样的环境下写的这首诗? 手指 这篇课文最后一自然段有三对反义词 第一对是什么?找不到. 已知α+β=1,αβ=-1,S1=α+β,S2=α^2+β^2,S3=α^3+β^3…Sn=α^n+β^n(1)计算S1= ,S2= ,S3= ,S4= (2)试写出Sn-2,Sn-1.Sn三者之间的关系式(3)根据以上得出的结论α^7+β^7 东阳·童年·骆驼队有那4个片段 大街上的错别字 街头错别字作文400字 要有2个具体事例哦 谢 太阳的话.白桦的写作背景 (√1)^2+1=(√2)^2=2,S1=2分之√1 ,(√2)^2+1=(√3)^2=3.S2=2分之√2 ,(√3)^2+1=(√4)^=4,S3=2分之√3用含有n的等式表示上述变化规律;求(S1)^2+(S2)^2+(S3)^2+.+(S10)^2的值.三角形两条直角边与斜边的关系,用一 “人的一生有两件事不可避免:死亡与纳税” 英语翻译好像是一个外国名人说的,大家有知道原文是怎么样的吗?谢谢啦!对了,那个外国人叫啥呀?谢谢 阳光季节 seasons in the sun写作背景 这些话中的破折号有什么作用(人教版小学语文六年级上册19课一面《5+2》上的题目)填序号破折号的作用:1.表示解释说明;2.表示话题转换;3.表示事项的列举;4.表示声音的延续、拖长; 高一英语听力人教版求回复 《东阳·童年·骆驼队》可分为哪四个片段 求六年级现代文·文言文点击《天上的街市》答案,请尽快给予答复,thank. 中国人民从此走上了自力更生的道路 这句话有什么错别字?实在是找不到了……请热心的人们帮找找……三楼的同志,我打的字不可能会错吧……不过呢,印错倒是很有可能…… …… 三个太阳写作背景 求以美丽无须包装为题的作文开头与结尾! 怎样下载高一下学期英语听力 西域男孩创作"season in the sun"的背景故事?听说很让人感动.要主要的故事就好了. 六年级点击《天上的街市》答案!~~~急!~~~~~~~~~~ 去杭州旅游 景点 如西湖十景 美食~啥的5月底要去杭州玩玩 3天的时间 麻烦各位熟悉杭州 了解杭州景点游玩情况的朋友指导一下 具体就说说杭州有啥好玩儿的地儿 这三天怎么安排 游西湖的 记金华的双龙洞的游览顺序,明天要交的!叶圣陶写的!.题是这样的:游览的顺序依次是--------、---------、---------、--------------------,最后-------------. 六年级第一学期语文《点击》答案 杭州的新西湖十景的旧西湖十景有哪些不光要名字还要有简介 记金华的双龙洞是按什么游览顺序 诗歌第一节中的动词可以互换位置么?为什么?神话传说中的牛郎织女,最终被王母娘娘用“天河”隔开,只有在阴历七月七日这一天才能相见,是一个悲剧故事.而作者在诗中却写得那样畅快,“天 哪里可下载新标准高一英语听力 英语翻译 天上的街市点击答案急用,现在必须要! 英语翻译是不是:there are something that just short memories.语法对么?如果不对应该是什么呢? 文言文《大道之行也》怎么解释 找错别字,错别字什么的最讨厌了 游衡山记不要抄的 要自己写的。 为什么现在UFO 这么频繁啊?最近的 广州 8.30的视频2次出现 今年还有 智利的UFO 视频 说实话我就算亲眼看到 也会认为是假的 我的意思是说:如果是假的 那些拍的是什么东西啊 国家研制的秘
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘