说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

使用GPU构建更便宜的Google神经网络

HTML文档下载 WORD文档下载 PDF文档下载
初创公司常通过模仿Google的技术来推销自己,从实时网站更新技术到机器学习。Google Brain无疑是Google下一代项目之一,研究者向我们展示了其它公司如何靠GPU和无限带宽技术进行深度学习,并且价格更低廉。

一些初创公司通过模仿Google的技术来推销自己,从实时网站更新技术到机器学习。Google Brain无疑是Google下一代项目之一,旨在利用谷歌已掌握的用户数据,使搜索和其它产品的行为表现得更智能化。现在,Google Brain的研究者之一向我们展示了如何靠GPU和无限带宽技术进行深度学习计算,并且价格比Google更低廉。


正如Wired周一提到的,包括斯坦福大学教授Andrew Ng(曾在Google Brain项目工作)和Google 研究员Jeff Dean在内的研究人员共同发表了一篇论文,讨论如何利用GPU完成CPU通常所做的高强度的工作,尤其是针对快速学习神经网络。据Wired文章中提到的,这样一个系统预计花费2万美元,而Google的标价是100万美元。

在这项研究中,集群部署了16台服务器,每个服务器包含两个四核处理器,四个Nvidia GPU和一个无限带宽适配器。这些服务器通过无限带宽转换器连接。这篇论文中提到:“这种特殊的服务器配置是为了平衡GPU和CPU的数量,对于大规模的深度学习,这点很重要。”这套系统比以前的迭代版本更高效。

我们已经通过这个系统证明,我们可以轻松地训练网络进行多于110亿个(是上一个最大型网络的6.5倍)参数的学习,并且只用了不到2%的机器。

研究看起来像是GPU的另一个有力宣传,对于Nvidia和其它类似AMD的GPU制造商来说也有好处。Nvidia GPU已经被应用在目前最快的超级计算机中,现在被应用到更传统的数据中心中看起来似乎有点道理的。(据我们同事之前的一篇文章,打破记录的天河二号超级计算机并没有使用GPU,而是融合了Intel Xeon E5-2600芯片和Xeon Phi协同处理器,所以GPU的竞争还有路要走)当然,虽然这项研究使我们更加确信有高性能计算并不是不切实际的,同时基于GPU的云服务也是可行的。AWS很早之前就提出希望利用GPU进行高性能计算,并且其整合了Nvidia GPU的集群GPU实例已经有了一些商业应用,如Peer1,SGI等。

有趣的是,虽然Google在Google Brain项目中大量使用了GPU,但它并没有为其云平台发布GPU选项。研究人员的创新精神已经为Google开发了一个健全的商业模式,以服务的模式销售GPU时间。

这项研究同时也促进了其它涉及GPU的人工智能项目。比如机器蜜蜂,通过一个公共的大脑来感知蜜蜂收集的数据。以更少的机器、更低廉的价格达到更快的认知模式,从而使蜜蜂更智能。

原文连接:Want cheap high-performance computing at scale like Google? Look to GPUs(文/周小璐,审校/仲浩)

欢迎关注 @CSDN云计算微博,了解更多云信息。 

备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘