说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Spark 1.3更新概述:176个贡献者,1000+ patches

HTML文档下载 WORD文档下载 PDF文档下载
千呼万唤,合176个贡献者之力,Spark 1.3终于发布,其主要更新包括:2014年到2015年Spark最大的API改动DataFrame、内置支持Spark Packages、更好的Kafka支持,以及MLlib中的多个算法引入。

近日,Databricks正式发布Spark 1.3版本。在此版本中,除下之前我们报道过的DataFrame API,此次升级还覆盖Streaming、ML、SQL等多个组件。当下,1.3版本已在 Apache Spark页面提供下载,下面一起浏览 Patrick Wendell在Databricks Blog上对Spark 1.3版本的概括(PS:DataFrame请访问“ Spark新年福音:一个用于大规模数据科学的API——DataFrame  ”一文)。

以下为译文

Spark SQL脱离Alpha版本

在1.3版本中,Spark SQL正式脱离Alpha版本,提供了更好的SQL标准兼容。同时,Spark SQL数据源API亦实现了与新组件DataFrame的交互,允许用户直接通过Hive表格、Parquet文件以及一些其他数据源生成DataFrame。用户可以在同一个数据集上混合使用SQL和data frame操作符。新版本提供了从JDBC读写表格的能力,可以更原生地支持Postgres、MySQL及其他RDBMS系统。同时,该API还为JDBC(或者其他方式)连接的数据源生成输出表格提供写入支持。

> CREATE TEMPORARY TABLE impressionsUSING org.apache.spark.sql.jdbcOPTIONS (url "jdbc:postgresql:dbserver",dbtable "impressions")> SELECT COUNT(*) FROM impressions

内置支持Spark Packages

在2014年底,我们着手为Spark建立一个新的社区项目目录站点——Spark Packages。当下,Spark Packages已经包含了开发者可以使用的45个社区项目,包括数据源集成、测试工具以及教程。为了更方便Spark用户使用,在Spark 1.3中,用户可以直接将已发布包导入Spark shell(或者拥有独立flag的程序中)。

# Launching Spark shell with a package./bin/spark-shell --packages databricks/spark-avro:0.2 

Spark Packages 还为开发者建立了一个SBT插件来简化包的发布,并为发布包提供了自动地兼容性检查。

在Spark Streaming中提供了更低等级的Kafka支持

从过去发布的几个版本来看,Kafka已经成为Spark Streaming一个非常人气的输入源。Spark 1.3引入了一个新的Kakfa streaming source,它利用了Kafka的回放能力,在非预写日志配置下提供了一个更可靠的交付语义。同时,针对那些需求强一致性的应用程序,它还提供了实现了Exactly-Once Guarantees的原语。在Kafka的支持上,1.3版本还添加了一个Python API以及支持这个API的原语。

MLlib中的新算法

Spark 1.3还提供了大量的新算法。其中,Latent Dirichlet Allocation(LDA)成为了第一个出现在MLlib中的主题建模算法。在这之前,Spark的逻辑回归已经通过多项逻辑斯蒂回归(multinomial logistic regression )支持多类分类(multiclass classification)。而在这个版本中,聚类再次被提升,Gaussian Mixture Models和 Power Iteration Clustering被引入。并通过FP-growth扩展了频繁项集挖掘(FIM,Frequent Itemsets Mining)。最后,MLlib还为Distributed Linear Algebra引入了有效的块矩阵抽象。(编译/仲浩 审校/钱曙光)


由“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会” 所组成的 OpenCloud 2015大会于4月17-18日在北京召开。 日程已经全部公开!懂行的人都在这里!(优惠票价期,速来)

VB新手常见问题解答 VB修改注册表一特例 VB与VC混合编程中处理消息的方法 VB中的进制转换是怎样的? VB中调用带参数存储过程的实现(数据库) VB中感叹号“!”与圆点“.”的用法差异 VB中如何实现注册表的读写 VB中实现“擦视”技术 Visual Basic 2000年问题 Visual Basic 的未来 Visual Basic 命令分类表 Visual Basic三级跳 Visual Basic使用技巧 Visual Basic中的子类处理技术 Visual Basic中软件封面技术探秘 VisualBasic 软件设计中的几个问题 Windows 95/NT 运行了多长时间 -VB资料 Windows 的登录资料库 -VB资料 把回车键变成TAB键-VB资料 把文件置入到Text或RichText中 -VB资料 避免按 [ENTER] 回车键产生的“嘀”声 -VB资料 避免使用全局变量-VB资料 避免装载多份应用程序-VB资料 不定个数的参数 -VB资料 不在任务栏中显示,只能在Ctrl+Alt+Del对话框中显示或者干脆什么也不显示数 -VB资料 处理 Dropdown List型 Combo的录入问题-VB资料 VB创建和删除快捷方式 从程序中生成 exe 文件 -VB资料 打开和关闭CD-ROM 驱动器 -VB资料 打开和关闭其他应用 -VB资料 打开一个超连接 -VB资料 求如何将数字字符串转换成钱的习惯读法?(解答者给全分,分不够在给!) 难吗,一点也不难,简单吗,一点也不简单,请进! 能否提供一个上传的控件(delphi7.0)??? 谁有studioMX2004正式版的下载地址啊 初学者提问:如何开始编写EJB Module? 破坏系统图标问题!!!!!! 偶想数据结构(C++描述),请大家多介绍几本! 紧急求救:两台连上交换机的电脑为何互相ping不通? 看到corejava第二卷。头大 有这么一种打印格式。。。。。。 我的c盘是系统盘,我不想别人安装东西在里面或者改动,怎么设置?? 免费空间,哈哈 Image 的地址传递问题 有什么方法能让jsp的执行中延迟一点时间。 明天又是九.一八 爱上一个银行MM,真的不知道怎么办!!!!!!!!帮帮我呀! installshield的问题? 求解一个简单问题 机器老是响个不停是怎么回事? 关于frame? 菜鸟求救!!!怎样判断输入框????? informix中的这个sql该怎么写 一个关于batchmove控件的问题? 请高手指点! 國慶節有多少人准備散分的 哪位做过java和SAP系统之间的接口? 关于文档和窗体在多进程时的传递 应用发布时失败,提示“can't drop table~~~~~~~~~” 通过电脑可以收发传真吗? 请问,如何在一个标签中加入其他的控件,并且控制标签显示的位置? 通过 2 个输入框 动态调整大小 ,但是不起作用 ?不是 后端 设置属性 会覆盖前端的吗 ? 写的第一首旧体诗,呵呵~ 学asp.net后再学asp快吗? ifaq, please come in. for you 求教问题!着急!asp.net如何连接SQLserver 十万火急:使用Directshow从摄像头读入数据,全屏播放时速度很慢 如何接受ActiveX控件的事件参数 关于MM和程序 求书 请问一个关于struts的问题,多谢了 求好书 请高手们指点一下!!!! 如何将tomcat8080端口改成8090? 急问:如何判断串口是否有设备接入? 请教:如何用win2k server和win2k pro进行局域网内的域建设 关于ltoa这个函数的一个小问题! 能将PB里数据窗口的报表以传真的方式发送出去吗?高分酬谢1 jb9里不能编辑MIDlet的代码吗? 在ASP中能够实现ASP.NET中的web.config其中的一个功能吗? 哈夫曼最优树 你能读懂吗? 英语翻译“军 ”是“驻扎”还是“军队” 请问test和exam的区别 work before play的意思 从“项王军壁垓下”到“汉王为发哀, 大家都是怎么背 再要你命3000的?大家都是怎么背 再要你命3000的,我第一次复习了一个月只考了300分,我想考好点!再要你命3000的, 三星组选:前三组三、前三组六、后三组三、后三组六、任选组三、任选组六 要你命3000的单词意思靠谱吗背要你命3000的时候经常遇到一些单词意思怪怪的,用有道和百度词典一查发现词义差别很大,想问一下这个要你命3000靠谱吗,别害了人啊 陈琦要你命3000里面的正面特征与反面特征是什么意思? 中翻英 一句话不长如果你没有看过这里的夜景,那就不能说你正真来过这个城市! 快来帮我想想这是那篇作文,还是..我记得是 :一个女孩对一个不爱笑也不知道怎么的总统微笑,然后总统因为这个微笑,明白了很多,赏个女孩很多钱 .(好像是这样 知道的人,麻烦具体的内容 什么样的女人才是托 鸟叔诉苦称进军海外压力大:两首歌走了叙提交化武销毁计划亲戚行凶 纽约华人母子五人被害英国发明“验精棒”可测精子是否达标埃及前总统穆尔西将受审 拒绝审判无人金华00后女生溜冰场结识男子 旷课5迈克尔杰克逊私人医生刑满出狱 欲再获55岁女子带出骗婚小团队 8个男人相拆反美海报 伊朗要与美国和好?国家公务员考试报名审查结束 浙江8万浙江省质监局:8家桶装水企业连续两次让民族团结之花美丽绽放一方有难八方支援重型机械大力推进 救援进展仍然缓慢官方:葡萄牙体育续约威廉-卡瓦略Yeezy Season 3即将来袭波波:伦纳德能从科比那学到很多波什:阿德完全融入马刺会更可怕原材料及医疗板块反弹 美股收盘微跌理查森,男,纽约。从1984年起连续智利附近海域9日发生6.4级地震加拿大将撤6架空袭IS战机 特种部队重生之牛头酋长次元冒险家最后的死气之焰重生之神级大玩家超级二代随身女妖位面养殖专家韩娱之星光灿烂都市阵法师位面商人在明末重历末世石室圣心大教堂旅游沙面旅游上下九步行街旅游石林旅游碧塔海旅游弥里塘旅游属都湖旅游纳帕海旅游月光广场旅游黑龙潭旅游姐告旅游
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘