说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

算法为王:且看Mac Mini如何超越1636节点的Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
1636节点Hadoop集群需处理7个小时的工作量,Mac Mini只用一个小时就完成了,听起来有些天方夜谭,然而涉及到算法问题,似乎一切都有可能。

小小的Mac Mini计算性能可以超过由1636个节点组成的Hadoop集群,即使是在某些用例下听起来也更像天方夜谭,然而近日GraphChi却声称做到了这一点。长话短说,在看这个壮举之前,我们有必要先了解一下GraphLab的GraphChi。

GraphChi专注小电脑的分布式框架

GraphChi由卡耐基梅隆大学计算机科学家设计,可以在个人计算机上高效进行大规模计算的框架,多用于社交媒体或网络搜索分析类任务,比如推荐引擎。我们都知道推荐引擎专注的是图谱计算(graph computation),分析社交媒体用户之间的关系;但是这类计算通常需要海量的内存,通常出现在由大量计算机组成的集群上。

区别于将图谱储存在内存中,GraphChi利用了个人计算机上的海量硬盘,将图谱储存在硬盘上。通过实验室主任Carlos Guestrin了解到,为了弥补硬盘与内存之间的速度差距,他们设计了更快速的,减少随机读写的硬盘访问方法。同时,GraphChi还能处理“流图谱”(streaming graphs),流图谱能通过显示关系随时间的变化建立起精确的大型网络模型。

Mac Mini与1636节点Hadoop的战争

对同一个具有15亿边缘的Twitter图谱(2010年以后)进行处理(三角形计数),GraphChi通过1个小时完成了1636个Hadoop节点7个小时的工作。近日,通过Rangespan的数据科学家Christian Prokopp,我们了解了这项超越得以实现的原理——对算法的极致优化,以及单台机器对集群设置的优势。

运行环境

GraphChi的首个优势在于可以简化许多假设以及后续的算法,不需要进行分布式处理。有了这个优势,并理解单机器的性能进行总体上的评估(优势和劣势),整个处理过程将非常容易设计。单机器通常具备两个特征:1,大的图谱问题不会被塞进RAM(Random Access Memory);2,拥有很大的磁盘,可以处理所有数据。

传统的磁盘通常不会有随机读取优化,他们只针对连续性读取。新时代计算机可能都会具备更快随机读写的SSD,虽然它们还是会比RAM慢许多。因此,任何在单商用机器磁盘上运行的算法仍然需要尽可能避免随机访问数据。

分而治之

卡耐基梅隆大学的博士生Aapo Kyrola使用这个原理来改善GraphLab,一个分布式图谱计算框架。他的想法是将图谱划分成不同的分片,每一个都可以通过这台机器的内存处理。随后这些分片可以并行的在内存中处理,其它分片需要做的更新则通过随后的连续写入完成。这样将最小化磁盘上的随机操作,合理的使用机器的内存做一些并行操作。


Aapo发明了 PSW(Parallel Sliding Window)算法来解决关键的性能提升问题,针对磁盘的连续读写。PSW通过source shards对1个分片中所有的顶点进行排序,这意味着每个分片本质上都被分割成由顶点组成的块,同时这些顶点又会与其它分片关联。


举个例子,在interval 1中(上图)shard 1正在内存中进行处理,它是顶点到目的顶点边长一个子集。这些目标顶点是余下分片中排序源值的连续块,因此可以连续的读取。所有的更新都会被计算,并在内存中为shard 1进行存储,随后则被连续的写入其它分片,修改会在读取之前进行。最终,内存中更新后的版本会被连续的写入磁盘。在interval 2中,shard 2被加载;当然,同样的方法会被应用于其它分片。

这个方法充分利用了新型商用计算机的架构特征,正如原始论文中的一些特性说明。比如,对不同磁盘中数据的拆分;同时,使用SSD代替传统磁盘对性能将不再有双倍的提升,因为算法已经大幅度的提升高永久存储性能。即使是增加分片的数量,对CraphChi的吞吐量影响也不大,这样将保证更大图的可靠性能。值得注意的是,另一个算法高效性证明是——将计算彻底的移到内存,对比SSD计算时间只有1.1到2.5(因素)的提升。


GraphChi的性能对比( 源出处)

GraphChi公布了模式转变后的性能获益,其中包括与类似Hadoop、Spark等通用解决方案,升值还包括了高优化的图计算框架GraphLab、PowerGraph。后者属于高优化的分布式并行解决方案,同样做Twitter三角计数的处理只需1.5分钟。然而,它使用了64个节点,每个8核心,总计512个核心。粗略的算,性能提升了40倍,但是却耗费了256倍的计算资源(核心)。

单机模式处理大数据的一些开源利器

1. LibFM: 项目主页

2. Svdfeature: 项目主页

3. Libsvm和Liblinear: libsvm项目主页、 liblinear项目主页、 初次使用必读、 libsvm的开发心得by林智仁

4. rt-rank: 项目主页

5. Mahout: 项目主页

6. MyMediaLite: 项目主页

7. GraphLab 和 GraphChi: GraphLab项目主页、 GraphChi项目主页、 GraphChi的下载地址、 GraphChi介绍、 CF for GraphChi

以“应用驱动的架构与技术”为主题的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店召开。届时将设有《智能交通与大数据》分论坛,物联网将是其中重要环节,欢迎参加讨论!

GitHub推出重大改进:强调速度、内容和交互性 如何打造测试工程师精英团队? 如何做个有“钱”途的测试工程师? 苹果开始关注企业移动化 iOS 7的10大办公功能 “开源群英会2013” 参会名单(持续更新中) 微软Builder2013前瞻 主打跨平台工具及服务 CMDN 29期:软件测试与管理之路 微软IE10与HIT FM 携手打造全新HTML5官网 专访GenMyModel CTO:一款全新在线建模工具背后的故事 【直击美国云计算】Jason Hoffman:数据和计算的融合将破坏全球利润 【直击美国云计算】如何做Hadoop、流处理框架等技术的采用选择 【直击美国云计算】细数云技术领域成王败寇:从SaaS到SDN 【直击美国云计算】谷歌Jeff Dean:成功的关键是专注 致远V5发布:强调大协同,企业移动化真来了 Mailbox:六星期实现从零到百万用户及日处理亿条消息 代码审查,也要天时地利人和 Clash of Clans产品总监:游戏中的商品定价一开始就要高 移动互联网最核心的竞争是:设计的竞争 【直击美国云计算】面对AWS,VMware不会畏缩 美国白宫任命Twitter法务总监Nicole Wong为副CTO Keek宣布推出首款视频Update API 专访阿里前端工程师:淘宝移动Web开发那些事儿 【直击美国云计算】为什么eBay用燃料电池来驱动他的犹他州数据中心 【直击美国云计算】6周发布新产品,LinkedIn的trunk-based开发 移动周报:疯狂吐槽还是更得欢心?细数iOS 7的是与非 国内最受欢迎的开源项目集锦 开始3D编程前需注意的十件事 [CTO俱乐部第100期]软件平台的新思维及2345技术团队管理经验分享 失败怪圈:今天的移动App在重蹈1999年的覆辙 极客编程必备的五大PHP开发应用 Oracle或将宣布与Salesforce.com,NetSuite以及微软结盟 软件发布:JsMaker 软件发布:呼吸ok了系列-主页秀 软件发布:串口传输专家 软件发布:SitMan PC 复读机 软件发布:DIP2000标准版 软件发布:邮件群发机 软件发布:iFORM 软件发布:QQrobberBuild(QQ强盗生成器) 软件发布:freeRes 软件发布:公务员之路 软件发布:智能拨号系统 问个INET 控件使用时遇到的问题 软件发布:RegTool注册控件组 软件发布:Windows变脸王 软件发布:FIFA2002视频设置 软件发布:Flash播放器 我写好了一个applet画板程序,愿和大家交流,分享原码,并一同解决余下问题。 请问在BCB中怎样实现动态数组??? Window2000+Apache+Tomcat4.0下class文件放哪里呀?自己建新的目录,怎么建? 请问在win98中的sql server数据库如何导入winnt下sql server服务器中。 济南 应用程序端传递过来的参数不能在导出函数外用吗? BCB 用Install shield制作oracle数据安装程序,在客户端不装ORACLE,如何设置DBE? to:chechy 分来了! 请问哪里有 com本质论 下载啊,最好是中文版的,英文亦可 为什么我的程序在案康柏的ipad上不能使用? 如何在image里预先显示白色背景? 回复phoenix96_2000(Jack Of All Trades) 请问哪里有《Delphi5企业级解决方案及应用剖析》配套光盘源码下载? hehe...请问能不能在WIN2000P建域呢?? 在对话框中放一个静态文本,为何执行时看不到该文本? 哪里有Inside COM+的书籍下载? 请教各位:如何对zf='dd'转换成十六进制? 请教: 二级域名name.***.com是怎么实现的? vc中使用string类型的问题 肮脏的九运会,肮脏的广州!建议以后取消全运会!! 我做了一个OCX控件,里面有个属性SName,我现在想在属性窗口里改了它的值,马上可以在控件上改变,请教各位! 为什么我的USB接口键盘在用软盘启动后的DOS状态下不响应? JSP,薪水有多少? delphi中怎样调用package? ado 的问题 图片从数据能显示,图片名称不能显示? 请问unix下有没有类似于windows下的DLL的二进制代码存储文件机制?(当然不是javaBean) 关于语音控件CTTS1.0? 请教各位:问如何对变量zz='02'转换成16进制? flash 5。0哪里有下载 在vc中调用用vb写的com出错,为什么? 关于多态性的理解,对吗? 如何知道1个类是不是存在? ??请教:我的程序 半命题作文 曾今错过的...1000字记叙文(要有具体事例)不能抄袭3小时之内,好的再加80分 春日全诗的意思 如何写一篇学会满足的话题作文 求一篇 话题作文:感受体育怎么写 春日这个题目是什么意思 以"初一的生活"为话题的作文 以“认识自己”为话题作文有这样一个寓言故事.一位生物学家看到一家鸡场的鸡群中有一只老鹰,他就询问鸡场主人.主人说:“它一直就吃鸡饲料,已经被训练成了一只‘鸡’”根本不以为自 春日全诗的意思是 爱,带给我的烦恼 作文 谁有有关于“我的烦恼”为题的作文一小段就行 春日这诗的大概意思 【我的烦恼】初一作文600= =最好原创.不是自己写的也找几篇作文拼起来的 作文,我的烦恼为题谁能帮我一下啊,写个300多字就行了,以我的烦恼为题的,我有高分答谢. 中华经典文章有哪些 初一作文我的烦恼. 以为题的高中作文 ... 请帮忙介绍几本小学5.6年纪能读得中华经典文章 我喜欢荷花的作文400字 以我的烦恼为主题的作文 读《英雄中国》有感急!寒假要结束了,马上就要交了!各位英雄豪杰,救命啊! 400字荷花作文? 《我的烦恼》为题作文, 怎么写 描写荷花的400字作文荷花我喜欢浪漫的玫瑰花,喜欢富丽堂皇的牡丹,喜欢高雅的郁金香,更喜欢洁白美丽的荷花。“接天莲叶无穷碧,映日荷花别样红。”这句诗是宋朝诗人杨万里写的。 具有教育意义的作文800字 我的烦恼作文400字的怎么写啊急!我的烦恼是胆小,说以希望大家写的烦恼是胆小.谢谢 作文题材:改革开放30年如何写类似文章? 春季对我们有什么影响 作文要2000字的!谢谢… 怎样写关于我的烦恼的作文我的烦恼作文有哪些知识点?写时要注意些什么? 作文“我的烦恼”怎么写500字 关于父母的感人文章,最好是具有教育意义的 “如何才能成功”话题作文怎么写?范文 我的烦恼作文怎么写? 比较有教育意义的文章求介绍啊? 求一篇以“探索与成功”的话题作文 请帮忙写篇"我的烦恼"的作文,800字左右,要有真情实感,高中生作文. 假如给我三天光明读后感600字 着急 600字 以成功写一篇话题作文600字 请根据材料,自选角度,自选文体(除诗歌)800字!两条小鱼一起游泳,遇到一条老鱼从另一个方向游来,老鱼向他们点点头,说:“早上好,孩子们,水怎么样?”两条小鱼一愣,接着往前游.游了一会 初中读后感 观后感600字 写一篇话题作文歌德曾说,我这一生基本上只是辛苦地工作.我可以说,我活了75岁,没有哪一个月过的是真正舒服的生活.就好像古希腊神话中的西西弗斯堆一块石头上山,石头不停地滚下来有堆 求一篇关于暑假好人好事的1000字文章是以班级的名义的那种文章.不要是第一人称 我 的那种文章.也可以是义务劳动,也可以是好人好事.要多件事情. 写一篇话题作文话题 高中作文800字左右比较切合生活的 谁能给我一篇好人好事的作文800字左右 求一高中800字半命题作文:忘不了__半命题作文!800字作文~ 关于革命的题材.文章或书籍最好是关于看完革命书籍后的心得体会 一千字好人好事作文写一同学的事迹,助人为乐.平常默默无闻,没有人看得见他.但他随手捡垃圾、关门关窗,帮同学盛饭……习惯铸成美.我是实在写不出来.一点感觉都没有.明天就交,1000字. 半命题作文(800字)桃红柳绿的春天,绿荷浮动的夏天,天高云淡的秋天,白雪皑皑的冬天.世间万物,总在给人们各种各样的启迪.书,给了我们知识和气质;爱,给了我们自信和勇气;宽容,给了我 帮忙写一篇有关革命题材感人故事的作文,400-500字, 求一篇作文!《让我感动的那一刻》作文水平在初二 600字左右 写身边的事我不要网上已经有的 要新的! 以我的烦恼为题写一篇作文600字的初中作文、急呀、 、 春天像刚落地的小娃娃”“春天像小姑娘”“春天像健壮的青年”,朱自清在文章结尾以人喻春,赞美春天.你能根据自己的阅读感受用另外一种表达方法为文章写一个结尾吗14课 《春》 只允 借物喻人400字的作文 写荷花最好是写荷花 求一篇半命题作文 幸福原来.字数在600到1000字 求以家庭给我的烦恼 为题的一篇600字作文 以春天为主题的作文? 渴望得到 半命题作文1000字议论文1000字左右 春日的意思 怎么写话题作文“留下”?
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn