说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

算法为王:且看Mac Mini如何超越1636节点的Hadoop

HTML文档下载 WORD文档下载 PDF文档下载
1636节点Hadoop集群需处理7个小时的工作量,Mac Mini只用一个小时就完成了,听起来有些天方夜谭,然而涉及到算法问题,似乎一切都有可能。

小小的Mac Mini计算性能可以超过由1636个节点组成的Hadoop集群,即使是在某些用例下听起来也更像天方夜谭,然而近日GraphChi却声称做到了这一点。长话短说,在看这个壮举之前,我们有必要先了解一下GraphLab的GraphChi。

GraphChi专注小电脑的分布式框架

GraphChi由卡耐基梅隆大学计算机科学家设计,可以在个人计算机上高效进行大规模计算的框架,多用于社交媒体或网络搜索分析类任务,比如推荐引擎。我们都知道推荐引擎专注的是图谱计算(graph computation),分析社交媒体用户之间的关系;但是这类计算通常需要海量的内存,通常出现在由大量计算机组成的集群上。

区别于将图谱储存在内存中,GraphChi利用了个人计算机上的海量硬盘,将图谱储存在硬盘上。通过实验室主任Carlos Guestrin了解到,为了弥补硬盘与内存之间的速度差距,他们设计了更快速的,减少随机读写的硬盘访问方法。同时,GraphChi还能处理“流图谱”(streaming graphs),流图谱能通过显示关系随时间的变化建立起精确的大型网络模型。

Mac Mini与1636节点Hadoop的战争

对同一个具有15亿边缘的Twitter图谱(2010年以后)进行处理(三角形计数),GraphChi通过1个小时完成了1636个Hadoop节点7个小时的工作。近日,通过Rangespan的数据科学家Christian Prokopp,我们了解了这项超越得以实现的原理——对算法的极致优化,以及单台机器对集群设置的优势。

运行环境

GraphChi的首个优势在于可以简化许多假设以及后续的算法,不需要进行分布式处理。有了这个优势,并理解单机器的性能进行总体上的评估(优势和劣势),整个处理过程将非常容易设计。单机器通常具备两个特征:1,大的图谱问题不会被塞进RAM(Random Access Memory);2,拥有很大的磁盘,可以处理所有数据。

传统的磁盘通常不会有随机读取优化,他们只针对连续性读取。新时代计算机可能都会具备更快随机读写的SSD,虽然它们还是会比RAM慢许多。因此,任何在单商用机器磁盘上运行的算法仍然需要尽可能避免随机访问数据。

分而治之

卡耐基梅隆大学的博士生Aapo Kyrola使用这个原理来改善GraphLab,一个分布式图谱计算框架。他的想法是将图谱划分成不同的分片,每一个都可以通过这台机器的内存处理。随后这些分片可以并行的在内存中处理,其它分片需要做的更新则通过随后的连续写入完成。这样将最小化磁盘上的随机操作,合理的使用机器的内存做一些并行操作。


Aapo发明了 PSW(Parallel Sliding Window)算法来解决关键的性能提升问题,针对磁盘的连续读写。PSW通过source shards对1个分片中所有的顶点进行排序,这意味着每个分片本质上都被分割成由顶点组成的块,同时这些顶点又会与其它分片关联。


举个例子,在interval 1中(上图)shard 1正在内存中进行处理,它是顶点到目的顶点边长一个子集。这些目标顶点是余下分片中排序源值的连续块,因此可以连续的读取。所有的更新都会被计算,并在内存中为shard 1进行存储,随后则被连续的写入其它分片,修改会在读取之前进行。最终,内存中更新后的版本会被连续的写入磁盘。在interval 2中,shard 2被加载;当然,同样的方法会被应用于其它分片。

这个方法充分利用了新型商用计算机的架构特征,正如原始论文中的一些特性说明。比如,对不同磁盘中数据的拆分;同时,使用SSD代替传统磁盘对性能将不再有双倍的提升,因为算法已经大幅度的提升高永久存储性能。即使是增加分片的数量,对CraphChi的吞吐量影响也不大,这样将保证更大图的可靠性能。值得注意的是,另一个算法高效性证明是——将计算彻底的移到内存,对比SSD计算时间只有1.1到2.5(因素)的提升。


GraphChi的性能对比( 源出处)

GraphChi公布了模式转变后的性能获益,其中包括与类似Hadoop、Spark等通用解决方案,升值还包括了高优化的图计算框架GraphLab、PowerGraph。后者属于高优化的分布式并行解决方案,同样做Twitter三角计数的处理只需1.5分钟。然而,它使用了64个节点,每个8核心,总计512个核心。粗略的算,性能提升了40倍,但是却耗费了256倍的计算资源(核心)。

单机模式处理大数据的一些开源利器

1. LibFM: 项目主页

2. Svdfeature: 项目主页

3. Libsvm和Liblinear: libsvm项目主页、 liblinear项目主页、 初次使用必读、 libsvm的开发心得by林智仁

4. rt-rank: 项目主页

5. Mahout: 项目主页

6. MyMediaLite: 项目主页

7. GraphLab 和 GraphChi: GraphLab项目主页、 GraphChi项目主页、 GraphChi的下载地址、 GraphChi介绍、 CF for GraphChi

以“应用驱动的架构与技术”为主题的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5日-6日在北京世纪金源大酒店召开。届时将设有《智能交通与大数据》分论坛,物联网将是其中重要环节,欢迎参加讨论!

第九届中国Linux内核开发者大会在京举办 《近匠》爱拍SDK:手游录像分享 爱拍才会赢 Mark走起!iOS开发最常用的第三方库 【CTO俱乐部读书会】《人件》译者肖然:软件工程是社会学 错过就要等一年 深圳微信开发者大会不容错过的十大理由 【干货】国外程序员整理的 C++ 资源大全 一周消息树:被投资人“送”入看守所,创业人汪洁有罪还是无罪? 聚焦五大主题 Atlassian Summit 2014精华PPT下载 2014中国移动开发者大调查第四期获奖名单曝光 【问底】许鹏:使用Spark+Cassandra打造高性能数据分析平台(一) 【特惠倒计时两天】参加深圳微信开发者大会赠书及全套讲师讲义 《英雄联盟》支撑最高750万同时在线用户的聊天服务打造 深圳云软技术副总黄榕振:招行信用卡微信公众号开发高级篇 来自未来的你,MDCC 2014新奇智能硬件揭秘 Twitter开源云环境时间序列数据断层检测工具BreakoutDetection 浅析Facebook软件架构:Tao和BLOB的实现原理 【图文实录】CTO俱乐部:走近Keen Team,走近智能设备Hack 2014聚合开发者大会(JDDC)在京召开 专访腾讯反病毒实验室:揭秘TAV引擎,哈勃分析系统两大利器 Cocos Studio v2.0 Beta0正式发布!多维升级,合三为一 环信即时通讯云获3000万融资 用于研发运维 苹果谷歌都无力?前员工开发跨设备无缝同步应用 带你看会带你飞!MDCC 2014移动开发者大会参会指南 Meteor 1.0发布 构建更好的Web应用 【专访】敏捷专家吴穹:敏捷测试的行业应用与实战解析 英特尔中国研究院最新成果亮相 展示智能衣服瓷杯机器人等创新作品 Node.js 打造实时多人游戏框架 深圳微信开发者大会购票企业特征分析 上门汽车服务“e保养”完成A轮500万美元融资 Docker之父Solomon Hykes谈项目开发的初衷和挑战 浪潮是如何实现单日5000台x86服务器交付互联网的? 怎样用header()做下载文件? 关于检测组合键的程序怎样写? 菜鸟问题!!!页面显示后台数据 请问软件包LEDA -- library of the data types and algorithms 哪里有下载的? 如何获得当前页面中的所有Textbox控件集合? 如何对两个表操作???谢谢! java的程序在写Dreamweaver 4里写完不可以直接用,是不是 打印的问题 DELPHI5的资源编辑器用起来很不爽,有没有好点的? 帮帮忙~~~~ 请问软件包LEDA 哪里有下载的?谢谢 ado连接远程数据库是以文件共享方式,还是c/s方式啊? 有没有工作的JAVA程序员吗? 简单的语法问题 vb还是不太会用 求教 最菜的问题 如何保存无法保存的网页? 只要每人献出一点爱,人人都能成为程序员 呵呵,又有问题了 苦恼,大家帮忙啊 关于声音处理的一个问题 求英文资料,急!!! 帮忙解释一下程序,谢谢:) 怎样实现这样的存储过程?高手快来! 用过websnap的进来看一下,巨简单! 调试版本与发布版本的区别? 急等答案, sql的基本表是用一个存储文件表示还是用若干个存储文件表示 我的Windows 2000有时无法关机(重起) ********通过编号找名称!*******求最快的方法!!! 格式化硬盘后安装WIN98过程中为什么出现蓝屏,继续安装下去连软件都安装不了? 请教一个让人郁闷的问题! 寻找一本人民邮电出版社出版的有关 GSM 网络优化的书 请问高手:能不能动态creatLayer? select * ????? 问候大家 晚上好 ,有个问题请教,立即给50分! 怎样使模式对话框最大化显示? 关于socket 十万火急,大哥大姐快救小弟一命!!!考高程的或考过的请帮忙,感激!!! 求救 跟帖 在SERVLET中,页面怎么跳转呢?客户端可以下载指定的ftp文件。。? 一个数据库连接问题??? 挂了双硬盘后,我的光驱不见了,请问怎么办?急!!!!!!!!!!!!!!!! 在SERVLET中,页面怎么跳转呢?客户端可以下载指定的ftp文件。。? 急急急急急! 寻求JB8+Weblogic7的配置! ftp 问题 CFormView有什么优势啊? 请问VB.NET中sln文件是做什么用的??? 你知不知ASP。NET可不可以做出JAVA APPLET 这样的效果?或者VB。NET也可以不? 为什么我的word有时竟然占用了100%的cpu? 急求救!jbuilder6+weblogic6下编译出错。 请问数据库的记录有100万条,对要搜索的那个字段做了个Index,这样的情况下,用Select语句Where条件读取数据,需要多长时间。 问一道数问题已知代数式x方(a* x的五次方 + b* x的三次方+ cx)/x的四次方+d* x的平方当x=1时,值为1,当x=-1时直是?是-1伐 蚂蚁从10层高的大楼落下为什么安然无恙 母乳吸出来常温可以保存多久 高中政治生活是必修几? 蚂蚁从高处落下为什么不死(简短) 哪里有做蒸馏水的机器卖 熬好的中药可以在常温下放多久不坏?(密封状态) 世界上第一个人生得是谁?是谁生的? 肤色正常的夫妇生了一个白化病孩子,这对夫妇在生一个白化女孩的可能性为 音响led灯我想做一个音响灯,灯是led.问题是用什么电路驱动.要求是这样的,有音频输入,有电源,led会跟着音乐的节奏亮,给个电路图. 条形码 有22个数字的那种是属于哪类条码 一个无白化病男性与一个白化病女性生出健康孩子的概率是多少 a e t s组成什么单词 怎么在音响上连接灯泡让它随着音乐的旋律闪烁?有源音响,但是我想在音响上接一串灯泡让它跟随音乐的旋律闪烁·请问各位大侠该怎么做啊帮帮忙!能不能请各位说的清楚一点啊! 请问这个是什么类型的条码? e、t、a、t、s组成单词 功放机上像电灯泡一样的东西是什么,干什么用的. 炼铁 碳酸钙炼铁时为什么要加碳酸钙?我知道是要和二氧化硅反应,那又是为什么? 世界上有没有无血动物 - 宇宙航行:关于地球同步卫星的说明中不明白的地方……由于同步卫星相对于地面静止,故其必须做匀速圆周运动,而做匀速圆周运动的物体的合外力必总是指向圆心……其中‘而做匀速圆周 有哪些病的病原体是细菌?如题,麻烦多举几个典型的例子. 将一个质量为M,边长为A的正方形均匀木箱放在粗糙水平面上将一个质量为m,边长为a的正方形均匀木箱放在粗糙水平面上,今用力推木箱使其绕一棱翻倒,求推力至少做多少功 答案是(根号2-1)m 日本核危机会污染盐巴吗? 皮肤大面积烧伤的病人,容易被细菌感染,其原因是A非特异性免疫能力降低B由于皮肤真皮内的血管大部分被烧坏,导致酶的活性降低为什么不选B呢? 如图所示质量为m的木箱放在水平面上木箱中的立杆上套着一个质量为m的小球,开始时小球在杆的顶端,由静止释放后,小球沿杆下滑的加速度为重力加速度的二分之一倍,即a等于二分之一g,则小 卡拉ok音响高音会保护如何加灯泡详细步骤或图解我知道在音响里,我是说在分频器上怎么加 4级英语口语何时可以考 质量为M=50kg的木箱放在水平面上,木箱中的立杆上套着一个质量为m=5kg的小球.开始时小球在杆的底端,以16m/s速度向上滑行,滑行的最大高度为8m,则小球在下滑过程中,木箱对地面的压力为多少?希 LED灯条可以直接接上音响吗家里低音炮 可以把LED灯条直接接在喇叭线借口那里吗 我想让灯光跟着音频亮,我是电子白痴 谁知道怎么搞 柏林电视塔有多高. 哲学有什么分类? 怎样记住有氧无氧呼吸公式 我08年6月过的四级,当时561分,现在都09年6月过了,我还能以去年的成绩去考英语口语证么? 运用政治生活说明如何理解当前国际形势的特点 氯化镁溶液是胶体吗?请回答具体些,马上选出最佳答案 有没有五硫化钠? 五颜六色是什么动物 无氧呼吸的公式是怎样的 求高炉炼铁的方程式如题 掏鸟窝 我要四级燕子蛋,送我 要什么鸟蛋交换随挑要四级燕子蛋,加我好友,或留下开心名我加你开心名:罗文菁有5级燕子蛋,4级喜鹊蛋,4级布谷蛋,4级百灵蛋,4级珍珠鸟蛋,4级乌鸦蛋,4级白鸽蛋, 受平衡力的两个力大小相等吗 一个表现正常其双亲也正常但有一白化病弟弟的女人,与一无亲缘关系的正常男人婚配,已知白化病基因携带者在人数中的概率为1/200.现有一表现型正常的女人,其双亲的变现型均正常,但其弟弟 掏鸟窝中怎么加入鸟友会 两力相同指两力的大小、方向、施力物体、受力物体都相同,实质上指的同一个力 这句为什么错? 某女子正常,父母也正常.其弟白化病.某男正常,其母是白化病.如果此男女婚配,生下白化病女的概率为?要有理由. 掏鸟窝中 什么是处在保护期的鸟蛋?为什么不能掏走? 锚杆长度和数量在设计里有要求吗,计算环向受力怎么样算啊?要重了? 有一对表现型正常的夫妇,男方的父亲是白化病患者,女方的弟弟也是白化病患者,但女方双亲表现正常,这对正常夫妇生出白化病孩子的机率是( )  A.2/3  B.1/2 C.1/4  D.1/6 关于问问分类我很气愤!分类是为了让想得到答案的人能更便于得到答案,而有些人不管什么分类,就选了,有兴趣的朋友可以去诗词歌赋里看看,没有几个是真正讨论诗词歌赋的!请问你们是怎么 长江的起源在那二 什么时候可以查09年的英语口语成绩? 那为朋友能帮我买到是高等教育出版社或者是上海外语教育出版社急用! 英语翻译:1.你有养宠物的打算吗? 商店里面那些水属于蒸馏水? 大学英语教学大纲通用词汇表 哪里有旧书卖? 当大面积的烧伤护理不当时,易发生感染而引起严重的后果,为什么是由于非特异性免疫能力减弱?人体主要不...当大面积的烧伤护理不当时,易发生感染而引起严重的后果,为什么是由于非特异 大峡谷蒸馏水 丽江花园店怎么样 问一道植物分类题下类植物依次按藻类植物,苔藓植物,蕨类植物,裸子植物,被子植物排列的是( )A 海带,葫芦藓,蕨,银杉,珙桐B 水绵,地钱,胎生狗脊,玉兰,水杉, 大面积烧伤病人,如果护理不当,很容易发生感染,其原因是非特异性免疫功能降低还是特异性免疫功能降低? 吸出来的母乳常温保存多久 商务部:美方频繁发贸易救济调查 望采国务院:建立城乡特困人员供养制度 覆揭甘愿下嫁“穷小子”的女星(组图)小贝卖萌嘴允小七公主奶嘴(组图)法国总统奥朗德会见王毅中缅首部合拍大型电视剧《舞乐传奇》赠摩洛哥召回大使抗议阿尔及利亚总统“挑法国总统奥朗德会见中国外长王毅 谴责美国医改网站频瘫痪 奥巴马打保票负全美无人机再袭巴基斯坦致3人死亡美国F-35战机进行首次对地精确投弹X-CAT摩托艇锦标赛挺进中国 首站中国最透明的安全软件:百度杀毒隐私保肯德基“半价桶”遭遇争论 小薯条代替宁海查获一万多罐假红牛 包装味道都和外国驻韩外交官5年犯法48起 外交豁农业部:农垦有望率先实现农业现代化朴槿惠为韩职棒总决赛开球 穿日本运动美媒揭白宫工作准则:不让总统为坏消息叙利亚总统警告:外国停止支持反对派才杨澜提问郎朗\"工作有何意义\"惹争黑龙江全省可购商品房作安置房欧元区救世主ESM获新进展林书豪弟弟职业生涯首秀砍下19分中技系违约债务38亿:成清波幕后金主补肾果炖排骨职业年金月缴差百元 退休可差数十万黄益平:三大引擎助推上海国际金融中心中国女星片酬排行,范冰冰落败仅能走偏New Balance CT700 鲁政委:互联网金融监管应从业务实质出国家队频繁出手,下周将如何演绎?90后女孩:被妈妈逼着进了股市券业监管:多部门齐念“紧箍咒”中海海盛股东增持341万股 占比0.四川信托总裁辞职 传被调查公司未予回善用太阳光:拍出专业摄影范广汽集团获控股股东增持3327万H股600亿正回购继续锁定中长期流动性马卡:德赫亚不排除与曼联续约委托贷款余额两年激增65% 通道业务Air Huarache复刻版全白配
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘