说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

【CTO讲堂】全数据驱动产品优化,美国互联网公司A/B测试经验分享

HTML文档下载 WORD文档下载 PDF文档下载
在线A/B测试如何提高移动营销转化率和改进产品体验?Google、Facebook、微软等公司的A/B测试是怎么做的?CTO讲堂第六期请到清华和耶鲁校友、吆喝科技CEO王晔做分享,他曾在Google总部负责广告产品的创新和研发。

为了帮助IT从业者职业之路拥有更多收获,在诸多C粉的殷切期待下,由CTO俱乐部打造的CTO线上讲堂自登场以来获得大家好评。本期邀请清华和耶鲁校友、吆喝科技CEO王晔带来“美国互联网公司A/B测试经验分享及企业技术选型探讨 ”的主题分享。

  • 第一期:APICloud联合创始人兼CTO邹达:以API为核心的移动应用云大发展时代;
  • 第二期:UPYUN CTO黄慧攀:云加速和技术成长那些事儿;
  • 第三期:亿方云科技创始人兼CEO程远:Box首位华人核心工程师的回国创业之路;
  • 第四期:UCloud联合创始人兼CTO莫显峰:如何成长为技术合伙人?
  • 第五期:听云CTO Wood:APM实现原理及对IT和产品运营的价值
想与业界大咖零距离沟通,欢迎加入C粉之家微信群(7月3日,新一期讲堂活动报名方式请拖至文末查看)


主讲嘉宾:吆喝科技CEO 王晔

嘉宾简介:王晔,北京吆喝科技有限公司CEO,清华和耶鲁校友,曾在Google美国总部负责广告产品的创新和研发,对A/B测试系统、大规模复杂系统、数据挖掘和分析、互联网基础架构有深入研究,曾发表过多篇计算机科学论文,拥有多项国际专利。

公司简介:吆喝科技是致力于发掘移动产品真正潜力的创业公司,核心团队来自 Google 等世界500强公司,已获得国际顶尖投资机构融资。

AppAdhoc 是吆喝科技独立开发的一套以 A/B 测试为基础的数据优化平台。“顶级的 PM 也只能跑赢一半的 A/B 测试”,我们希望通过引入 Google 全数据驱动产品优化的理念,用数据帮助开发者做产品决策,避免无数据决策的产品风险,提升产品潜力。同时 AppAdhoc 优化平台也可以帮助开发者用数据优化移动广告,让流量的变现价值更大。

以下是6月26日CTO讲堂现场完整速记:

王晔:大家好,我是王晔,吆喝科技的CEO,也负责技术。我和大家一样是技术出身,喜爱动手,喜爱创新。我在清华和耶鲁读书的时候参与过中国下一代互联网(CNGI)和网络App流量优化(ALTO)等大型项目,和国际国内的很多互联网企业有过技术上的深入合作。我在耶鲁、微软研究院以及NEC北美实验室参与过多项技术创新课题,积累了宝贵的经验。

在回国创业之前我在Google总部AdWords部门工作,负责过多个成功的广告新产品。Google广告产品的每一个新改动都是要经过严格的在线A/B测试来验证效果,在保护用户的搜索体验的同时提高广告的转化营收。这种科学的开发和运营方式可以大幅度加速创新,改善用户体验,对互联网企业事半功倍。

我回国后和吆喝科技的同事们一起创业,在A/B测试这个技术领域内继续不断创新,希望我们的技术能够服务和帮助国内的广大开发者们,和大家共同成长。

为什么选择回国创业呢?什么样的契机开始了创业之旅?

王晔:大势所趋,这几年移动互联网呈现指数级发展,现在移动App已经全面超越PC Web。这个发展势头在全球范围内如此,在中国则更加迅猛。在今天的移动互联网市场环境下,中国的创业企业可以做出与国际大企业一样巨大的贡献。同时,移动互联网技术本身仍然处于早期,有无限多的革新可能,可以创造出无限多的商业可能,这对于我们技术人来说是一个历史性的机遇。

创业建立吆喝科技,我个人觉得我们团队的技术积累,特别是在大规模A/B测试上的丰富经验,可以帮助国内的开发者,特别是新一代的敏捷开发高速迭代的移动App开发者,提高设计、研发、运营、营销的效率。更进一步,基于A/B 测试的产品优化服务,我们可以参与到迅猛增长的移动广告,电商,游戏市场。A/B测试如同GitHub、Docker、APM一样在美国市场已经被各类企业逐渐采用,相信在中国也能被广大开发者所接纳。我们希望帮助国内企业用数据来驱动自己的产品优化,造福广大移动用户。

去年我在国内寻找到了很多有着共同理想的有情怀的小伙伴,大家愿意一起来做这件事情。再加上国家政策到全社会的支持,对我们技术人创业是一个很好的机会。

谈谈现在吆喝科技的发展情况以及团队构成情况。

王晔:我们吆喝科技目前尚处于创业早期。我们的产品AppAdhoc Optimizer是基于A/B测试的优化平台,今年4月全面上线,目前已经有几十家试用客户。

我们是一只热爱技术,经验丰富,专业性强的小团队。我的两位合伙创始人张毅飞和王冉分别对互联网精细运营以及移动营销有着多年经验。我们目前有十几位工程师和几位运营和客服,正在广泛招聘中。我们热烈欢迎对全栈技术,大数据,移动端感兴趣的大牛们加盟,共同推动移动互联网进入全数据驱动的产品优化。

举例从具体的应用场景介绍一下吆喝科技提供的产品服务特点?与同类型产品服务相比,技术与产品优势体现在哪些方面?

王晔:用一个电商App的场景作为例子。电商App集成了我们的SDK之后,就可以在AppAdhoc Optimizer控制台创建很多“测试版本”,每个测试版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同测试版本的试验运行状态、流量分配以及查看详细的数据报告,并选择发布效果更好的测试版本。


拿这个例子来说,假如这个App有100万在线用户,通过控制台可以控制这些用户看到不同的测试版本。假如其中50万用户看到左边版本,产生了10万购买;另外50万用户看到右边版本,产生了40万购买。这个试验数据说明右边版本产生的转化率更高,可以通过控制台将这个版本推广到所有100万用户。



说到产品的特点和优势,吆喝科技在A/B测试引擎的流量分割方面下了很多功夫,可以尽量保证试验用户流量的代表性和试验数据的准确性,同时支持试验流量动态控制、多变量组合试验、大量并行试验、针对特定人群的定向试验等。

我们的SDK不仅支持Web(HTML5)端A/B测试,还支持原生移动App(iOS, Android)端和后端的A/B测试。我们的云控制台简单易用,试验数据清晰细致。对比而言,吆喝科技的技术和产品目前在国内是领先的,在国际范围内也是很有竞争力的。

用数据做产品决策

该如何理解“全数据驱动产品优化”的理念,能否详细谈谈“用数据帮助开发者做产品决策”?

王晔:移动互联网的产品经理和工程师在设计和开发产品时,会更多的从C端用户的需求出发做产品优化。需要强调的是,对用户行为的深度理解,很难仅仅依靠决策者的个人洞察力。有些经验只有通过科学的A/B测试的试验数据才能获得。


用Microsoft Bing的一个产品改动作为例子。右版和左版相比,只是颜色做了一些小调整(CSS里几行改动),人眼几乎看不出区别,但是用户点击率大幅度提高,年化收益增加了1000多万美元。在Google,类似的优化案例时常发生,而这些优化是完全由试验和数据来推动的。

小到颜色调整,大到产品逻辑,都可以通过数据来驱动产品的优化。


用Amazon的信用卡广告作为例子,这个广告最初放在购物页面里,几乎无人问津,而且浪费了宝贵的广告位;当产品经理尝试把这个广告放在结算页面时,用户就会发现这个信用卡的好处,A/B测试的试验数据显示这个改进会带来年化上亿美元的营收增长。产品经理以数据证明了自己的成功。

全数据驱动(Data Driven)的产品优化理念就是为产品优化确定可以量化的“优化指标”,进而通过A/B测试这样的科学试验手段来大胆尝试各种改进,由试验数据来决定哪种改进更好。

要注意的是,试验数据如果不进行充分的分析可能带来不正确的决策

比如电商App的新设计里强调了商品价格,结果导致用户点击率下降一半!这说明这个改动是不好的么?不一定,因为有可能点击商品的用户的购买转化提高了2倍以上。也就是说,新设计的商品信息对用户更加有用了,反而可能增加营收。

另外,阅读数据要全面,要避免以偏概全或者以全盖偏的问题。例如,如果App用自己公司的员工做试验,得到的试验结果未必能推广到全体用户。

再例如,试验结果显示新版本比老版本提高了0.2%,微不足道;但是可能对城市里的年轻女性iPhone用户来说,新版本比老版本提高了20%,从这个试验中学到的经验依然很宝贵。

所以,App开发者需要制定科学的优化指标,从海量数据中挖掘出有用的用户行为信息。AppAdhoc Optimizer支持自定义的优化指标和可计算的复合指标,能够多维度的分析试验数据。我们吆喝科技的专业团队,也会做好咨询服务,帮助开发者理解和分析试验数据。

您在Google工作了很久,分享一些您了解的美国互联网公司A/B测试的经验,比如Google,、Facebook、Microsoft这些公司。

王晔:刚才我们已经举了一个Microsoft Bing和Amazon使用A/B测试提升产品的例子。

我再说说自己在Google的经验。随着A/B测试的不断改进,Google几乎所有的产品,包括新上线的产品,每一次更新都需要首先通过细致的A/B测试验证。

事实上,Google的各个产品每个月都有成百上千个不同的测试版本在运行,试验数据决定了大量的改动都不能最终上线(Fail Fast),而最终通过数据证明自己更好的改动使Google的营收每月可以提升大约2%。日积月累,Google仅仅通过数据化驱动的方式就能保证年化增长达到20%。


这张图是Google从2007年建设好Web A/B测试平台之后的测试版本增长情况图。

Facebook在移动App的产品质量上遥遥领先,它作为单一产品更加依赖自己强大的A/B测试平台。因为Facebook App每次更新的时候都会将未来6个月甚至更长时间内想要测试的新功能都集成进代码。Facebook将这些功能逐个通过A/B测试的方式检验验证,如果功能有问题,或者用户反馈不好,测试版本就会被修改或放弃;只有效果好的改动被推广给全球用户。

这样,绝大多数手机用户(没有被分配“坏”测试版本的用户)的体验是Facebook App没有Bug!而且Facebook App的用户体验越来越好。

我们也了解到国内的百度、知乎、大众点评网等都建设了自己的A/B测试系统,并且获得过很好的产品优化效果。

在线A/B测试是如何提高移动营销转化率的?该如何改进产品的用户体验?

王晔:A/B测试在企业的市场营销和产品的用户体验上都可以起到很大的作用。举一个移动营销的例子,现在非常流行的在微信中传播的HTML5营销页面,往往稍做改动就能带来巨大的变化。一些可以尝试的改动包括:压缩H5文件大小,给用户更多的交互,让用户转化尽量在页面内完成不做跳转,将文案放在图片下方、缩短文案、改进措辞、调节颜色等。

实践经验告诉我们,一个专业设计的H5页面经过一系列优化,可以将分享次数和用户转化提升几倍乃至更多!这相当于节省了巨大的推广成本。


再举一个产品的例子,用户注册和登陆的流程很大程度上影响了用户体验。Airbnb尝试过各种不同的简化用户注册和登陆的方案,并且在这个环节的用户体验上反复推敲,包括背景、文案、字体、按钮的位置等。

一个经过优化的用户注册登陆页面,可以使真实用户流失率下降几倍,趋近于0。这对于App的用户增长来说非常珍贵。要注意的是,大多数改动对优化指标的影响很小。同时,确实有少数改动会“意外”地产生明显的巨大的改进效果。所以只有通过多加尝试,比如一次运行多个试验,以及尽快尝试不同的测试版本,每一个1%的改进互相叠加日积月累就可以产生10%,20%,乃至100%的提升。

另一点要注意的是,尽管优化经验是可以积累的(比如什么颜色的背景可以增加用户停留时间),但是特定的优化经验往往只对特定App有效,不一定能直接复制。甚至同类型的不同App,往往最优的策略也很不相同,这是因为不同App的用户群体很难重和,以及用户对不同App的期待也有区别。

在线灰度发布功能是如何加速App/Web敏捷开发的?

王晔:对于早期App开发者,精细化的优化成本太高,大量的微调型的A/B测试也没有必要。对于这些开发者,AppAdhoc平台依然可能很有帮助,特别是我们提供了一个非常有用的在线灰度发布功能,可以大大提高开发者的敏捷开发效率。

我们的SDK 包装了“模块开关”这个API接口,开发者在每次改动代码时可以在控制台定义一个或者几个模块开关,然后用模块开关来保护代码改动。简单的说,可以让新功能只有在模块开关打开的情况下才展示给手机用户。

在新代码部署上线之后,用户对新代码无感知。开发者可以通过AppAdhoc控制台开放新功能给部分用户,用来检测bug和获得用户反馈。如果发现问题,可以随时回滚到老版本;如果新功能获得成功,则可以推送给所有用户。


这种对不确定的新功能进行灰度上线的模式,能够使每一次代码改动更快的部署,减轻企业内部的QA和测试压力;而且可以快速通过应用商店的审核;特别是在发现问题时可以无须通过审核直接关停有问题的试验。

企业技术选型的思考

这几年,中国技术ToB服务的迅猛发展趋势,互联网+时代的企业该如何做技术选型和采购技术?

王晔:2015年被称为企业服务市场的元年,这是因为中国企业持续不断的自我进步,对移动互联网新技术有着特别热情,积极的态度。中国的技术类ToB服务因此可以和美国同行一样,大胆创新,用专业技能为企业客户解决各种各样的问题。

中国的新一代开发者已经赶上和超越了美国同行,习惯于使用云平台、Github、Docker,以及其他各种开源和共享技术。将通用的技术问题交给专业的第三方服务去解决,这是这些企业可以专心致志发展核心业务实现火箭一样发展速度的部分原因。

在选择使用哪些第三方技术供应商的时候,除了口碑与性价比以外,技术公司的专业性是很重要的考察因素。

在吸收技术服务的过程中,可以先在风险较小的产品上开始试用;可以考虑使用和对比(A/B测试)多家技术解决方案;如果对数据隐私非常重视,可以考虑购买私有云整套解决方案。

这里我提一句,AppAdhoc Optimizer的A/B测试引擎虽然也收集用户数据,但是仅仅需要获取短期试验数据,A/B测试并不需要App的历史数据。

在这样的大环境下,吆喝科技的下一步产品研发方向以及重点发力点会在哪些方面?

王晔:尽管处于创业早期,我们吆喝科技已经对于未来有比较明确的发展规划。我们的重点是对AppAdhoc Optimizer优化引擎的不断改进,包括:建设更加强健的后端集群,实现支持日活数十亿用户;更加详尽的数据对比分析功能;通过机器学习给客户提供自动优化的建议;针对不同用户群体的定向用户体验功能。

另外针对非深度开发者的移动营销人员,我们即将推出一个所见即所得的HTML5营销页面优化平台,可以方便营销人员不做代码改动就实现各种各样的A/B测试,不断优化移动营销的效果。敬请大家期待我们的新产品。

此外,未来我们会和合作企业一起,深耕移动广告产品的优化,创造出用户喜爱的新广告形式,造福广大手机用户,同时提高移动App的流量变现价值。

要成长,请离开舒适区

吆喝科技的技术团队是什么样的氛围?

王晔:哈哈,我也是年轻人:)创始人的影响下,吆喝科技是Google工程师文化的践行者。公司业务非常开放透明,以技术和产品主导决策,工作氛围积极快乐。在应对技术问题时,大家敢于挑战难题,乐于大胆创新,积极沟通交流,勇于承担责任。

吆喝科技提供免费午餐,免费健身,经常举办各类体育活动。每周五有全员聚会(TGIF),每月都有深度研讨(Deep Dive),公司时常有全员旅行办公(Offsite)。大家互相学习,共同进步,保持年轻。

从工程师到CTO,这一路您也有很多积累和感悟,招人过程中哪些特点是您比较看重的?

王晔:我觉得学习能力和沟通能力是最重要的。优秀的团队可以将新人培养的一样优秀,前提就是新人积极学习,乐于沟通。性格上符合公司的文化也非常重要,因为对创业团队来说,团结作战是必须的生存法则。

对于还未有太多职场经验的技术人,向有经验的技术大牛学习毫无疑问是能很快提升自己水平的方法。不过这一点大多数人都可以比较容易的做到。

比较难做到的是离开舒适区(Get out of your comfort zone)。如果你发现自己最近一年没有遇到什么技术上的挑战,要么你已经是这个领域的带头人,要么你就需要重新审视一下自己:也许应该积极研究产品、技术上可以做哪些革新和改进,也许应该参与一下其他更新颖的项目。

我们工程师有时候会不自觉地对新技术有抵触。究其原因,我认为是所谓的舒适区(comfort zone)心理让人变得懒惰。一旦某个技术深入理解了,某个框架使用熟练了,某些代码逻辑写多了,我们就会习惯性地依赖他们。这虽然在短期内有助于工作效率,但是在长期来看却可能错过提高自己的机会。

大胆的尝新和试错,是最能够锻炼自己技术能力的。

我们公司现在的Android SDK负责人,几年前是做Java系统开发的。当写Java非常熟练以后,他主动去研究刚刚发展起来的Android。写Android代码一开始是用Eclipse,写过几个App之后他又换用Android Studio,进一步提高了开发效率。

加入吆喝科技以后,他在开发AppAdhoc Android SDK的过程中,深入探索了Android各个版本,使我们的SDK可以兼容到API 8,几乎覆盖世界上所有活着的Android手机。最近他又在研究Google I/O 2015上提出的Android新框架和新接口。

现场互动:如果保证用户隐私的安全性?

王晔:

  • 首先,我们的SDK并不会获取用户的个人信息,我们只统计客户App关心的优化指标,所以我们是和客户App一起尊重用户的个人隐私;
  • 其次,我们并不保存和处理App的历史数据,A/B测试需要的只是短期的试验数据用来科学的判断哪个试验更成功就可以了。
  • 最后,我们可以为客户App提供私有云解决方案,数据完全不经过我们。

现场互动:AppAdhoc Optimizer优化引擎这个架构是怎么样的?

王晔:我们的主体是云端的试验控制、试验流量分割、以及数据统计和对比分析。


现场互动:App验证某个版本效果最佳后,可以实时将其他版本也切换成最佳版本是吧。那么是否对用户有明确的告知、教学类的提示呢。用户会不会感觉突然操作习惯变了?

王晔:这是个好问题,我们的平台是允许一键发布新版本给所有用户的,不过用户是无感知的。App可以在发布的同时,通过自己的用户沟通渠道通知用户。



想与业界大咖零距离沟通,欢迎加入CTO讲堂微信群,参与CTO讲堂!

【CTO讲堂第七期预告】

分享主题:无社交,不App!——为App加载强大的通讯社交引擎

演讲嘉宾:徐旸  箭扣科技CEO、联合创始人 


嘉宾简介:徐旸,北京箭扣科技有限公司CEO&联合创始人。第一代J2EE Server的开发者,曾任Sybase研发总监,Appcelerator中国区总裁。在美创业经历丰富,涉及领域包括技术咨询、医疗外包、移动云服务。

公司简介:箭扣科技(Arrownock)名自北京最原味的长城片段,寓意将祖先的烽火台与现代通讯技术的衔接和延承。Arrownock以“无社交,不App”为己任,是全球第一家向移动App提供IM++聊天社交功能的云服务企业。在移动互联网蓬勃发展的今天,箭扣科技依然秉承着“工匠之心”,专注移动社交业务需求,细心把脉技术细节,以“小而美”的自由发展态度,从容面对市场和竞争的喧嚣。

箭扣科技成立两年多来,逐步形成了自己的商业风格与技术特色:

  • 独创“场景式SDK阵列”开发理论,提供一站式移动社交技术云服务;
  • 亚洲双品牌云平台运营,服务跨越海峡两岸三地及东南亚地区;
  • 从免费到定制,多种云模式并存,支撑多家亿级,千万级移动业务单位;

分享时间地点:7月3日(本周五)上午10:30,CTO讲堂微信群

加入方式:扫描二维码加“C粉儿小助手”好友,申请入群。



还不是CTO俱乐部成员的各公司技术负责人,欢迎立即加入俱乐部:cto.csdn.net 。

更多俱乐部动态,欢迎扫码关注微信号:

Citrix全面开源XenServer 为了三十亿人的网络幸福:Google投资O3b发射网络卫星 Windows 8.1中IE 11开始支持WebGL和SPDY/3 微软Build 2013开发者大会:盘点Windows 8.1的15个重大更新 瞧!这是摩托罗拉移动新Logo,你有什么感觉? 专访UEditor创始人战毅:打造最佳的用户编辑体验 Eclipse 4.3 正式版发布 代号Kepler 为兴趣而生 七大编程挑战项目,你敢来吗? iOS 7辅助功能:左右摇头控制iOS设备 挑战传统关系型数据库:Facebook图形数据库TAO揭秘 揭秘“棱镜计划”幕后的技术 你更新了吗?Visual Studio 2013 Preview和.NET 4.5.1同时发布 你主要使用什么编程语言? 跨平台游戏开发工具App Game Kit或将新增更多强悍功能 移动应用推广的那些事儿:应用发现篇 DDoS攻击也能成为一种云计算服务 Netflix开源Hadoop集群调度工具:日处理近万作业、上千TB数据 传谷歌正开发自己的视频游戏主机和智能手表 AMD APU战略转型:全民四核,发力“云+端” 富士康自主研发智能手表 惹苹果发来订单 开发者眼中的iOS 7:重设计过程没想象中那么糟 游戏引擎Unity宣布免费支持Windows Phone 8及Xbox One 蝉游记王益善专访:7人小团队实现App 30万下载量 去除IE 10广告的两种方法 直接拿来用!最火前端开源项目(二) 工作变得简单又高效 试试这八个WebApp 移动周报:生于微信,疯狂猜图的推广经 DataTorrent 将数据分析速度从“实时”提升至“现在时” 华为FusionCube开启全球规模商用 黑暗架构:以最少时间完成系统升级并获客户认可的开发之道 Hadoop Summit 2013见闻:创业与Hadoop 2.0不可阻挡 安装softice后,不能启动机器了!!!!!!!! 听听StringGrid 隐藏行的好建议,别讲RowHeight[i]=0阿 关于VB调用Excel打印报表的问题 哪有电脑知识问答题? 我有项目,有谁参加??? 请问哪儿能下载模块 ming? 这样的情况还能用StringGrid吗???如果不可以那用什么?DBgrid? 致JAVAMAIL配置不成功者--即编译通过但运行不了的朋友 请问asp.net 项目开发中,页面设计与代码编写如何分工 这个地方怎么回事?(代码) 不能上网??为什么?我想不明白?? ASP包含文件问题,给分50,在线等候ING。。。。 怎樣在applet中控制button的大小和具體位置? 从Microsoft操作系统的发展中,我们可以看到操作系统最终目标是OFS,它基于一种内建数据库技术,最终什么样的数据库,也就是何为内建数据 鼠标左键按下拖动是对应的windows消息是哪个?(像WM_LBUTTONDOWE) 与市场上通过网站的web发送短信相反,web能接受短信吗?如何完成? 与市场上通过网站的web发送短信相反,web能接受短信吗?如何完成? 我有项目,有谁参加??? 要用jdbc连接两个用户怎么办? 怎样取出字符串? 请问哪里有支持代理服务器的telnet客户端? 用vbscript将list框里的多选的值读出来,急!在线等待 想在北京找个JAVA或XML及相关技术开发方面的工作(大学毕业后工作三年,然后读了统招的研究生) 用VBscript 取当前页form 中项目的值。 请问在JBuilder7中,如何引入javax.xml.parsers.*;org.xml.sax.*;org.w3c.dom.*; 急需要原代码 如何在delphi 6中的 采单加入图片背景? tomcat 问题 请指教:Wrf文件用什么软件打开呢? 请大家帮忙,谢谢 这个问题如何解决!特来请教! 怎么样去掉工具栏呀(基于单文档的应用程序)? 字符串的连接 如何使得图片(TImage)半透明显示? 想让图片有朦胧的感觉 初学者的问题:SQL Server的两个小问题,希望高手指教,多谢了! win2000的脚本编辑器 关于VC的串口通信,在线等待,大家多帮忙啊! 运行http://localhost:7001/helloclient测试EJB,出现了以下错误 如何找到我的IBM笔记本的主板的型号? 字符串的连接 怎么比较数据? 系统的.OCX控件注册问题 请问 uint_fast32_t 和 uint32_t 有什么区别? 怎样可以实现运用CommonDialog里的FileDialog控件,得到多个文件。急救!(在线等待100分) 菜鸟级问题^——^学习JAVA,要C语言基础吗? 哪些手机能发能收email? ………………请大家给我推荐一两个支持中文和图片的控件,马上给分………… 菜鸟的问题:listindex out of bounds(2)是什么意思?看看吧,谢谢! Visio vs Rational Rose 怎样在BCB中处理XML? 关于文档视图
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘