说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Spark 1.3更新概述:176个贡献者,1000+ patches

HTML文档下载 WORD文档下载 PDF文档下载
千呼万唤,合176个贡献者之力,Spark 1.3终于发布,其主要更新包括:2014年到2015年Spark最大的API改动DataFrame、内置支持Spark Packages、更好的Kafka支持,以及MLlib中的多个算法引入。

近日,Databricks正式发布Spark 1.3版本。在此版本中,除下之前我们报道过的DataFrame API,此次升级还覆盖Streaming、ML、SQL等多个组件。当下,1.3版本已在 Apache Spark页面提供下载,下面一起浏览 Patrick Wendell在Databricks Blog上对Spark 1.3版本的概括(PS:DataFrame请访问“ Spark新年福音:一个用于大规模数据科学的API——DataFrame  ”一文)。

以下为译文

Spark SQL脱离Alpha版本

在1.3版本中,Spark SQL正式脱离Alpha版本,提供了更好的SQL标准兼容。同时,Spark SQL数据源API亦实现了与新组件DataFrame的交互,允许用户直接通过Hive表格、Parquet文件以及一些其他数据源生成DataFrame。用户可以在同一个数据集上混合使用SQL和data frame操作符。新版本提供了从JDBC读写表格的能力,可以更原生地支持Postgres、MySQL及其他RDBMS系统。同时,该API还为JDBC(或者其他方式)连接的数据源生成输出表格提供写入支持。

> CREATE TEMPORARY TABLE impressionsUSING org.apache.spark.sql.jdbcOPTIONS (url "jdbc:postgresql:dbserver",dbtable "impressions")> SELECT COUNT(*) FROM impressions

内置支持Spark Packages

在2014年底,我们着手为Spark建立一个新的社区项目目录站点——Spark Packages。当下,Spark Packages已经包含了开发者可以使用的45个社区项目,包括数据源集成、测试工具以及教程。为了更方便Spark用户使用,在Spark 1.3中,用户可以直接将已发布包导入Spark shell(或者拥有独立flag的程序中)。

# Launching Spark shell with a package./bin/spark-shell --packages databricks/spark-avro:0.2 

Spark Packages 还为开发者建立了一个SBT插件来简化包的发布,并为发布包提供了自动地兼容性检查。

在Spark Streaming中提供了更低等级的Kafka支持

从过去发布的几个版本来看,Kafka已经成为Spark Streaming一个非常人气的输入源。Spark 1.3引入了一个新的Kakfa streaming source,它利用了Kafka的回放能力,在非预写日志配置下提供了一个更可靠的交付语义。同时,针对那些需求强一致性的应用程序,它还提供了实现了Exactly-Once Guarantees的原语。在Kafka的支持上,1.3版本还添加了一个Python API以及支持这个API的原语。

MLlib中的新算法

Spark 1.3还提供了大量的新算法。其中,Latent Dirichlet Allocation(LDA)成为了第一个出现在MLlib中的主题建模算法。在这之前,Spark的逻辑回归已经通过多项逻辑斯蒂回归(multinomial logistic regression )支持多类分类(multiclass classification)。而在这个版本中,聚类再次被提升,Gaussian Mixture Models和 Power Iteration Clustering被引入。并通过FP-growth扩展了频繁项集挖掘(FIM,Frequent Itemsets Mining)。最后,MLlib还为Distributed Linear Algebra引入了有效的块矩阵抽象。(编译/仲浩 审校/钱曙光)


由“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会” 所组成的 OpenCloud 2015大会于4月17-18日在北京召开。 日程已经全部公开!懂行的人都在这里!(优惠票价期,速来)

专访Mellanox CEO Eyal Waldman:InfiniBand与以太网齐驱并进 性能更胜一筹 IM助你打造千万级App——容联•云通讯线下沙龙 乐视智能硬件再发力,超级自行车今发布 专访格灵深瞳CTO赵勇:为" 计算机视觉" 赋予智慧的光芒 【程序员电子刊精选】水火不容?研发人员也是产品经理! 如何打动用户?携程用户体验实践分享 【征文】Java二十周年特别策划——谈谈我与Java的那些年、这些事 Facebook的愿景以及虚拟现实的未来 iBeacons一年回顾 英特尔中国30周年之际 IDF上你需要了解的5件事 OpenCloud 2015参会者的三大特征(附列表) 友盟移动互联网趋势报告解读:垂直领域应用竞争白热化 墨腾动漫CTO吴建学:初创公司的生存之道 亿航与高德达成战略合作 LBS+引爆智能硬件软实力 《近匠》火柴手写码,输不错的验证码利器 Web、App中添加动效设计应遵循的12条原则 越狱与开源:2015移动安全峰会(MSS)纪实 开发者自白:我是如何不花一分钱收获230万应用下载量的! OpenCloud 2015报名超预期 近20位讲师会前采访提前看 硅谷公司人才招聘那些事儿——硅谷“超级面试官”董飞专访 一切为了用户体验:揭秘京东首页改版背后的故事 TIOBE 2015年4月编程语言排行榜:Java王者归来 三大主题技术峰会开幕在即 OpenCloud 2015参会者提醒 《近匠》快码,唯快不破的代码众包平台 打破边界 生态化反!乐视发布三款超级手机 苹果收购LinX:iPhone或将采用双摄像头技术 Google《Android性能优化》学习笔记 Amaze UI 2.3.0版本发布 整合多个第三方插件 专访Layabox创始人谢成鸿:Flash与HTML5结合的背后 高德推“LBS+”开放平台战略 整合位置大数据和云计算 CLion 1.0发布,C/C++跨平台集成开发环境 我想知道基于IP的视频通讯是意义 请问如何将YUY2图像数据转换成RGB格式的数据? 如何删除pub scanner偷偷创建的ftp隐藏目录? 怎样从ORACLE中导出表结构?在线等待!!!! Delphi+word??? 送分。。。 我想知道基于IP的视频通讯是意义 如何用JSP实现本地的文本操作 如何判断在DBGRID控件上,鼠标移动到哪一列上面? 高分〔200啊〕求erp软件 为什么EXCEL中打印表格时经常莫名其妙地使部分字变得较大,主要是符号类字。 每隔5分钟刷新 管理权限问题?在线等待。 Tomcat下进入相应目录时,总是列出所有的文件列表,我如何关闭此功能? 烦,给分... 最后30分了,不要闲少,还望各位帮帮忙!! 各位,哪里有DX系列的组件(For D6)下载啊 数据的合计怎么做? 多少钱 关于SQL语句问题 有关Table控件中动态添加的控件使用问题!!!!!!!!! 请问如何在局域网里面测算每个计算机分配的速度或数据流量? VC/MFC--是否是你的唯一选择? OA系统中的一个大问题,大难题, 四川五粮液将隆重推出一款CPU:"五粮液 Inside",促销口号:“买一块五粮CPU 送一瓶五粮液”,预购从速 请问用Swing,有第三方提供给XML显示/编辑好的组件么? 帮忙请教一个问题,计算机应用专业的英文全称怎么写? 打扰一下:第一次加,请各位多多指教 ! 明天高考了,祝福所有莘莘学子:金榜提名! dll 中的共享内存段 大家帮我推荐一本VC++快速入门的书,来者有分!! php 与 sql server2000 如何将char数组的某一段拷贝到另一个char数组里面?在线等待啊!急啊 大家有谁用过eclipse2.1+lomboz+jboss-3.2.1_tomcat-4.1.24呀!我怎么配置都不成功! 请教一个简单的SQL语句 问几个初级一点的问题:) 关于win2000server服务器安全的一个问题。 高分求助?获取用户IP并存在文件里的代码! 帮帮忙 获取DATAGRID中的更新列的数据发现只能得到更新前的数据 怎样用C或C++实现一个sql语言简单编译器 求一个特效:当鼠标停留在任务栏图标上,显示当前程序状态 在线等待,关于帮助文件的问题,急! 男人一定要看--打消那些有想娶美女的念头的男人 如何用C#在没有安装过office的机器上使用word功能 如何选择开发平台? 大家知道哪有买类似于阿里巴巴那种商城程序啊? 关于c/s的问题 如何用evb显示tip呢? 数据环境设计器怎么样去用? 文档保存时隐藏某一域的ls如何写? 视频点播怎么做啊?用什么服务器好?自己做收看WEB页怎么办啊? 小球的质量为m=0.8kg,用两根长l=0.5m的细绳拴住并系在竖直杆上的A,B两点,AB=0.8m.当直杆带动小球在水平面内绕杆以角速度W=40rad/s转动时,上下两根绳的张力各是多大?(g=10m/s^2) 地表与地壳的区别 User Generated Content概况 请问介孔碳是什么?有没有具体的定义?是关于电化学方面的 板块是地壳还是地表? 这张图最上面和最下面的分别是哪两个国家的国旗? 套井回填什么意思 用万用表测量较大电阻时,为什么两手不可同时接触表笔的导电部分 请问下面这些图片分别是来自哪个国家出品的? 什么是数据通路宽度?什么是总线通路宽度? 在修筑青藏铁路是的“永冻土层”是怎么解决的? 加速度2米每次方秒比加速度负3米每次方秒大还是小 什么是带通函数是关于小波变换以t=0为中心的带通函数 东北区冻土的成因是什么? (3)怎么会有两个加速度 七匹狼,皮带,尺码,长度?宽度?孔大小? This is an table.It's near the bed. I'm always online用汉语怎么念出来 任意相邻两孔的孔桥宽度, 推力F1对物体做的功全过程中摩擦力对物体所做的功推力作用阶段合外力对物体所做的总功19.(8分)如图3所示,一个质量为m=2㎏的物体,受到与水平方向成37°角斜向下方的推力F1=10N作用, post consumer resion (PCR)是什么?No post consumer resin (PCR) of any type shall be added to the formulation. 为什么样本方差的分母是 n-1 surprised when they see同义句转换 连词成句.does,do,when,Jack,homework,his,ususlly 自屋檐自由落下的一个小球在△t=0.25s内通过高度△h=2m的窗口,求窗口的上沿距屋檐的高度?(g取10m/s2)要求写出解题过程 季节性冻土区春季路面反浆的原因 英语翻译Bauhaus GmbH & Co.KG Rhein-Main-Neckar Hanauer Landstraße 517-543,60386 Frankfurt am Main ‎ Verbindung nach Kaiserstraße 62,60329 Frankfurt am Main Hanauer Landstraße 517 60386 Frankfurt am Main Zu Fuß nach Frank 设离散型随机变量ζ满足Eζ=3,Dζ=1,则E[3(ζ-1)]等于什么 木头人是什么 太空飞行对航天员的身体有多大影响? 求地球地壳版块图?因为这次的地震,所以想了解地球的版块,朋友们谁有版块图,请给我一份. Made from 100% recycled awesome 假设共有3名学生,每名学生都有5门成绩(语文、数学、英语、化学、物理).要求:(1)从键盘上输假设共有3名学生,每名学生都有5门成绩(语文、数学、英语、化学、物理).要求:(1)从 how long can our last?forever! 一瓶满满的挥发性药水,挥发后第二天变为原来的二分之一,第三天变为第二天的三分之二,第四天变为第三天的四分之三,问到第几天药水还剩下最初的十分之一?A、5 B、10 C、15 D、20 谁能给我东北地区1-12月每个月的平均温度和每年的最高温度和最低温度?主要要长春 怎么改变自己的磁场 一种挥发性药水,原来有一整瓶,在第二天变为原来的一半,在第三天变为第二天的三分之二,在第四天变为第三天的四分之三.请问:药水到第几天时还剩下三十分之一整瓶?A.第五天 B.第十二天 C The schoolis near the 妇女生理期时自身磁场是不是会改变? 急吖急~高一物理机械能和高二物理动量怎么复习? 地下最低温度是多少比如:地下空层 有没有可能结冰? 茧蛹中心的黑东西到底是什么,能吃么?有的说是内脏,有的说是排泄物,到底是什么,有没有营养价值?请指教!1.蚕蛹中心的黑东西是什么2.蚕蛹中心的黑东西能否食用3.蚕蛹中心的黑东西有无营养 Look!The fridge is near the shelf! 想象未来机器人是什么样的? 埋地管道做压力试验,能用压缩空气去做吗(管道已回填)?安全么? look,it is near ___ ___应该填什么? 内穿式皮带有什么优点 魔术两个铁环是如何一碰就套在一起的?一拉就出来了? 要详细步骤! 最好说清楚详细点---- 不懂装懂的绕道...谢谢合作! 两个相似三角形有两条边分别相等(不是对应相等),他们全等吗 fabric fibers made from post-consumer PET fabric fibers made from post-consumer PET bottle 在平直的地面上,一个人沿水平方向用20n的力推一辆小车匀速向西运动,试画出小车所受阻力的大小和方向. 以textbook should be Reeycled为题的文章怎么写啊?先表明你的观点再从环保的角度来说再提出你的建议及具体的实施办法 He usually____(reach) his office before seven o'clock. reach怎么变形原因 根据句意及首字母填写单词 1.The coat is too [e ]for me to buy2.The panda is very shy,so please be very[q ]3.Your aunt's daughter is your[c ]Amy is [i ]in English 这两个德语单词有什么区别?klingeln和klingen有什么区别?举几个例子说明一下,不是啊……这两个词都是动词,据说一个的主语必须是人,另一个的主语必须是物,如“闹钟”,但我不知道哪个是哪个 他通常4点50返回办公室 he usually _ _ his office at 4:50 求U形孔的宽度一块长方形板长40cm,宽30cm,在木板中间挖去一个底边长为20cm,高为15cm的U形孔,已知剩下的木板面积是原来面积的5/6,求挖去的U形孔的宽度 地壳是以地表到地表以下多少米的地方? 为什么我笔记本开机之后会发出尖锐的声音额,是连续的尖叫声,把本子翘到适当的位置又不叫.开机后能正常使用. 给新加坡“送礼”香港动心金正恩成大马高校荣誉博士 为表彰其教美国务卿说政府关门损害美国际声誉手机疑遭美监听 默克尔怒了中国保姆在美国年薪10万美元 保险假阿拉法特死因有新说 排除钋中毒BBC名主播再添性侵罪名 下月受审【新加坡供需两方面给房市降温 房价调控沙特惊人外交之举引争议美国情报机构被曝监听至少35名国际政新加坡房价调控缘何显成效中国周边外交换挡升级外国人如何申请中国绿卡伦敦金属交易所基本金属期货价格24日南宁官方回应“警察枪击抗拆村民” 称北京研究6家高尔夫球场退出水源区 名大妈跳广场舞扰民被泼粪 称嫌吵装隔音郑州多处城中村拆后复建缓慢 村民被迫落实大气防治行动计划 京津冀区域治霾揭秘张曙光“学术”路:读博士不愿写论监控全世界的美国政府公信力受质疑费舍尔:科比还想再拿一次冠军 他还可“福田健身房”项目全面启动高标准高质量抓好第二批活动从传统中寻找设计魂魄2013年我市消费 投诉3.6万余宗深圳国税税收迎来开门红每周说10次“我爱你”深圳近30家社区银行 获批筹建深圳美术展览预告红星美凯龙收购吉盛伟邦波兰金婚夫妇 获颁总统奖章感冒患者增三成双星闪耀 双喜临门春节7天乐网购7日内退货 无需说明理由这个春节,深圳人去哪儿了?中联办举行新春酒会打包收费标准暂不变吃汤圆以少为宜给“中国梦”现实体验感整治无牌车首日 21宗涉牌违法被查
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘