说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

算法为王:且看Mac Mini如何超越1636节点的Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
1636节点Hadoop集群需处理7个小时的工作量,Mac Mini只用一个小时就完成了,听起来有些天方夜谭,然而涉及到算法问题,似乎一切都有可能。

小小的Mac Mini计算性能可以超过由1636个节点组成的Hadoop集群,即使是在某些用例下听起来也更像天方夜谭,然而近日GraphChi却声称做到了这一点。长话短说,在看这个壮举之前,我们有必要先了解一下GraphLab的GraphChi。

GraphChi专注小电脑的分布式框架

GraphChi由卡耐基梅隆大学计算机科学家设计,可以在个人计算机上高效进行大规模计算的框架,多用于社交媒体或网络搜索分析类任务,比如推荐引擎。我们都知道推荐引擎专注的是图谱计算(graph computation),分析社交媒体用户之间的关系;但是这类计算通常需要海量的内存,通常出现在由大量计算机组成的集群上。

区别于将图谱储存在内存中,GraphChi利用了个人计算机上的海量硬盘,将图谱储存在硬盘上。通过实验室主任Carlos Guestrin了解到,为了弥补硬盘与内存之间的速度差距,他们设计了更快速的,减少随机读写的硬盘访问方法。同时,GraphChi还能处理“流图谱”(streaming graphs),流图谱能通过显示关系随时间的变化建立起精确的大型网络模型。

Mac Mini与1636节点Hadoop的战争

对同一个具有15亿边缘的Twitter图谱(2010年以后)进行处理(三角形计数),GraphChi通过1个小时完成了1636个Hadoop节点7个小时的工作。近日,通过Rangespan的数据科学家Christian Prokopp,我们了解了这项超越得以实现的原理——对算法的极致优化,以及单台机器对集群设置的优势。

运行环境

GraphChi的首个优势在于可以简化许多假设以及后续的算法,不需要进行分布式处理。有了这个优势,并理解单机器的性能进行总体上的评估(优势和劣势),整个处理过程将非常容易设计。单机器通常具备两个特征:1,大的图谱问题不会被塞进RAM(Random Access Memory);2,拥有很大的磁盘,可以处理所有数据。

传统的磁盘通常不会有随机读取优化,他们只针对连续性读取。新时代计算机可能都会具备更快随机读写的SSD,虽然它们还是会比RAM慢许多。因此,任何在单商用机器磁盘上运行的算法仍然需要尽可能避免随机访问数据。

分而治之

卡耐基梅隆大学的博士生Aapo Kyrola使用这个原理来改善GraphLab,一个分布式图谱计算框架。他的想法是将图谱划分成不同的分片,每一个都可以通过这台机器的内存处理。随后这些分片可以并行的在内存中处理,其它分片需要做的更新则通过随后的连续写入完成。这样将最小化磁盘上的随机操作,合理的使用机器的内存做一些并行操作。


Aapo发明了 PSW(Parallel Sliding Window)算法来解决关键的性能提升问题,针对磁盘的连续读写。PSW通过source shards对1个分片中所有的顶点进行排序,这意味着每个分片本质上都被分割成由顶点组成的块,同时这些顶点又会与其它分片关联。


举个例子,在interval 1中(上图)shard 1正在内存中进行处理,它是顶点到目的顶点边长一个子集。这些目标顶点是余下分片中排序源值的连续块,因此可以连续的读取。所有的更新都会被计算,并在内存中为shard 1进行存储,随后则被连续的写入其它分片,修改会在读取之前进行。最终,内存中更新后的版本会被连续的写入磁盘。在interval 2中,shard 2被加载;当然,同样的方法会被应用于其它分片。

这个方法充分利用了新型商用计算机的架构特征,正如原始论文中的一些特性说明。比如,对不同磁盘中数据的拆分;同时,使用SSD代替传统磁盘对性能将不再有双倍的提升,因为算法已经大幅度的提升高永久存储性能。即使是增加分片的数量,对CraphChi的吞吐量影响也不大,这样将保证更大图的可靠性能。值得注意的是,另一个算法高效性证明是——将计算彻底的移到内存,对比SSD计算时间只有1.1到2.5(因素)的提升。


GraphChi的性能对比( 源出处)

GraphChi公布了模式转变后的性能获益,其中包括与类似Hadoop、Spark等通用解决方案,升值还包括了高优化的图计算框架GraphLab、PowerGraph。后者属于高优化的分布式并行解决方案,同样做Twitter三角计数的处理只需1.5分钟。然而,它使用了64个节点,每个8核心,总计512个核心。粗略的算,性能提升了40倍,但是却耗费了256倍的计算资源(核心)。

单机模式处理大数据的一些开源利器

1. LibFM: 项目主页

2. Svdfeature: 项目主页

3. Libsvm和Liblinear: libsvm项目主页、 liblinear项目主页、 初次使用必读、 libsvm的开发心得by林智仁

4. rt-rank: 项目主页

5. Mahout: 项目主页

6. MyMediaLite: 项目主页

7. GraphLab 和 GraphChi: GraphLab项目主页、 GraphChi项目主页、 GraphChi的下载地址、 GraphChi介绍、 CF for GraphChi

以“应用驱动的架构与技术”为主题的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店召开。届时将设有《智能交通与大数据》分论坛,物联网将是其中重要环节,欢迎参加讨论!

ANI文件格式 -VB资料 AVI文件格式-VB资料 DBF文件转为MDB文件的方法 -VB资料 FLIC动画文件的播放程序设计-VB资料 MS Office 开发工具VBA TextBox 中英文输入方法切换-VB资料 TXT文件的读取-VB资料 VB 如何将dbgrid印出来 VB5.0调用Office97技巧 VB5如何把帮助文件加到设计的程序内? VB编程步步高-打印篇(二) VB编程的好帮手资源文件 VB的OPEN对话框控件图示功能扩充 VB通用数据表格输出程序的设计 VB网格中输入数据 VB应用程序中打印条形码的两种方法 VB与Windows资源管理器互拷文件 VB中DOS文件名与长文件名的转换 VB中的Unicode 和 Ansi 格式 VB中如何实现文本查找功能 VB中自制文件搜索器 Windows 初始化文件的修改 -VB资料 Word 97与WPS97的完美结合 -VB资料 比较两个文件-VB资料 采用递归算法删除带有多级子目录的目录-VB资料 菜单项的动态装入 -VB资料 处理加了密码的MDB文件-VB资料 VB创建临时文件 从公共对话框控件中提取多个文件名称 -VB资料 从全路径名中提取文件名 -VB资料 打印MsChart之类的控件 -VB资料 请大家帮帮忙,简单(送分) 如何在web.config中设置验证登陆??????? 非常奇怪的编译问题 .NET的平台怎么搭建! 退格键的ASCii码值是多少?急。。。。。。。。。。。 请教大家个问题 如何用php下载文件? 求能够交替显示不同颜色的行的表格控件,十万火急! 如何将SQL SERVER 2000中的两个表连接在一起,且其中的记录是一对多? 如何用JavaScript控制验证控件的Enable属性?? 拼音模糊查询 “网上邻居”就打不开了,这是怎么回事?如何处理? 为什么没有delete 掉 使用pro c要用到那些包,如何快速学会pro c? 谢谢 拼音模糊查询 求gif或jpg下图标。详情见内。 昨天,公司通知我晉升,老丈人讓我去見她,第一次,雙喜臨門,散分!!! 看看我们昨天晚上怎么过的中秋吧 拼音模糊查询 XP下断开连接了,怎么总是不断自动拨号啊。 螺旋藻能防辐射,你知道么,给说说吧,有分送 servlet如何实现对文件的删除? 请教PWM DsgnIntf的问题 请问如何让自己的服务可以早点启动(普通服务,不是驱动服务)? 程序员的女人 请教一道网设的题目 请大家介绍几个热门的英文讨论的技术网站给我。 请教一个抽象类的问题 如何在dataset.tabel中将两个表能过双方的两个字段建议关系 高分求高手:jsp中如何获得服务器的网卡地址? 新手,请教C#入门 如何将列表框中所有的值都显示出来,不要有滚动条! 系统软件谁居第一 新人“ gxlxwp1982(我爱Delphi,就像老鼠爱大米)”来了,以后大家多帮忙!!!!1 使用Access数据库的SQL语句问题请教!!!! 谁有软件技术测试报告?给我一份参考一下啦~~~ : [求助]请各位帮帮忙呀! weblogic7.0的端口问题 如何在一个form中使用另一个form? win2kp 如何恢复丢失的桌面? 80年出生的都在干什么? SQL Server7.0升级到SQL Server2000 急需winsock2.h文件 delphi开发的程序在WIN2000,WINXP下运行正常,在WIN98却不行,是怎么回事? 如何在TOMCAT下重定向服务器不存在文件的错误页面 关于JFileChooser中的新建文件夹问题? 请问哪里有sun j2ee 服务器参考实现的源程序下载 今年一定考C++吗 考几道C语言的题目啊~~~~~~~~~~~~ VB调用COM接口,出现类型不匹配,如何解决? 关于拷贝构造函数,诡异。。。 是乃仁术什么意思 叩的右半边偏旁怎么打 土字偏旁,右边是个区字是什么字 怎么打出来拼音怎么拼 ()早()黑 ()疾()快越多越好至少每个词语3个! 翻译信用证+TT REIMBURSEMENT ALLOWED +LC ISSUING BANK DISCOUNT INTEREST ANDACCEPTANCE COMMISSION ARE FOR APPLICANT'S ACCOUNT. +CONTINUATION FROM FIELD 57D: ADVISE THROUGHBANK ADDRESS: NORTH ZHUAI ROAD, SHANGHAIGUAN 含疾快的成语 英语翻译UPON PRESENTATONOF YOUR DRAFT(S) AND YOUR TESTED TELEX DEMAND NOT LATER THAN THE EXPIRY DATE OFTHE L/C STATING THAT THE AMOUNT DRAWN REPRESENTS THE UNPAID BALANCE OFINDEBTEDNESS DUE TO YOU BY THE BORROWER,WE SHALL,WITHIN SEVEN (7)BUSINESS 英语翻译WE HEREBY ISSUE OUR IRREVOCABLE STANDBY LETTER OF CREDIT NO.XXXXXXXXX IN FAVOR OF THEShenZhenDevelopment Bank,Huayuan ,Foshan Branch BANKADDRESS :148 Foshn Lianhua Rd.,CHINA FOR ACCOUNT OF ACCOUNT NAME:DaLianHongYuan lnternational Trade C 结合课文《轮椅上的霍金》内容,针对霍金叩击出的一段文字,不同的人一定会有不同的评价:年轻的女记者:( )听讲座的学生:( )其他科学家:( )我要说:( ). 结合课文《轮椅上的霍金》内容,针对霍金叩击的一段文字,不同的人一定会有不同的评价:年轻的女记者:( )听讲座的学生:( )其他科学家:( )我要说:( ) Whether we go out or stay inside depends_________the weather.填空 为防抗议者干扰 埃及当局更改穆尔西受太阳马戏团在美拉斯维加斯表演时再发摔阿富汗吸毒人数剧增 农村吸毒率达到3小布什远离公开辩论 私底下担心茶党崛韩国十字会组织集体俯卧撑活动 为朝鲜为防抗议者干扰 埃及当局更改穆尔西受韩国总统访问欧洲 称日本应向德国学习如何绕开Google SSL故意泄露11家品牌奶粉入驻北京药店 专家称价斯诺登请求美对其法外施仁 白宫拒绝并北京雾霾刚去 寒衣节不少市民当街焚烧致命相思豆!女子煮食红豆中毒呕吐 这中国特种兵没实战经验?越南特战最强?孕妇难产不只是孕妇的问题,可能是男人朝鲜半岛是美国的伤心之地? 奥巴马最金禅:5.26最新油价走势图程华志:5.26原油(沥青)华矿沥青点金王牌: 50的目标实现了,现在该天价翡翠挂件如何诞生,教你如何成为鉴玩情怀的不只是小米,还有创维为爱升级全球网贷行业遭遇严打风暴 互金这三种金禅:原油或将冲破50大关,但须防油月亮和七枚硬币青魂记四圣录神枪手穿越英雄无敌星际共生记铁骨军魂汉歌一曲永恒日记玄子之天重生洪荒青莲道篮球舞者媚香楼旅游莫愁湖旅游明故宫遗址公园旅游秦淮河画舫旅游狮子山旅游东平国家森林公园旅游宏章绸庄旅游侍郎府旅游石浦老街旅游石浦渔港旅游国际沙雕艺术广场旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘