说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据研究与发展专题论坛:大数据在各领域中的应用及发展策略

HTML文档下载 WORD文档下载 PDF文档下载
在2013BDTC“大数据研究与发展”专题论坛上,来自中国科学院、交通银行、伊利诺伊大学、西北工业大学、新加坡管理大学、华东师范大学软件学院的多位演讲嘉宾针对大数据在各领域中的应用及发展策略展来了深入探讨。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

12月6日下午举行的“大数据研究与发展”专题论坛上,华东师范大学云计算与大数据研究中心主任周傲英担任论坛主席,中国科学院院士、数学与系统科学研究院研究员陆汝钤,交通银行软件开发中心副总经理刘雷,伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰,西北工业大学计算机学院教授李战怀,新加坡管理大学信息系统学院助理教授朱飞达,华东师范大学软件学院副教授周敏奇多位演讲嘉宾针对大数据在各领域中的应用及发展策略展开了深入探讨。


周傲英担任论坛主席,对演讲嘉宾及演讲内容进行概要介绍

中国科学院院士、数学与系统科学研究院研究员陆汝钤:超大规模知识工程

中国科学院院士、中科院数学与系统科学研究院研究员陆汝钤在主题为《超大规模知识工程》的演讲中重点回顾了知识工程的发展历程,并对未来发展进行了展望。


中国科学院院士、中科院数学与系统科学研究院研究员 陆汝钤

1968年,第一个专家系统“启发式DENDRAL”问世,预示着第一代知识工程,即中小规模知识工程的开始。1978年,第一个国产专家系统问世,知识工程从此进入中国。第一代知识工程为社会带来了显著的经济效益,但专家系统知识的局限性,使其只能很好地解决具体问题,离开特定领域后则显得无能为力。

第二代知识工程(大规模知识工程)从1980年开始,代表性技术为海量知识库,数量级达百万,如1984年Doug Lenat开发的Cyc大型知识库。作为人工智能的补充,人们在知识的获取与组织上,开始逐渐采用软件工程思想。而这也进一步导致了知识内容一致性问题、知识的独立商品化问题及知识开发的“群众路线”问题。

2000年,知识工程进入超大规模阶段,即第三代知识工程。这一阶段,因特网、万维网、搜索引擎和浏览器兴起,整个搜索网页数达到数十/百亿,使因特网成为知识获取的主要来源。正如知识工程挽救人工智能颓势一样,网上知识工程成为主要生长点,但浏览器提供给人们的海量网页,从本质上是无法利用的,需要用户从中查找、整理所需的知识。

第四代知识工程,又名极大规模知识工程,是人们对未来知识工程发展的展望。该阶段的知识量级将达T级,浏览器将集浏览、挖掘、编辑、出版一体化,同时每个人都可拥有自己的因特网,知识可以像空气一样自动传播,知识服务将成为最重要的服务业。

交通银行软件开发中心副总经理刘雷:商业银行大数据应用的探索与实践

交通银行软件开发中心副总经理刘雷主要围绕大数据时代的机遇与挑战、大数据战略的实践与探索、大数据建设的展望与设想三个方面分享了商业银行在大数据应用上的探索与实践。


交通银行软件开发中心副总经理刘雷

随着银行业的迅猛发展,其正面临着来自内部及外部两方面的压力,内部压力主要有运营成本增加、人员规模增长、精细化管理及业务拓展;外部压力则表现为机器所产生的大量数据、社交网络对人际关系的改变及互联网金融的崛起。刘雷表示,银行在以前的大数据管理中存在诸多误区,如重数据应用,轻数据管控;认为实施大数据只是技术性工作;认为实施大数据战略就是建设数据仓库;必须有配套的组织机构建设。

这些压力反过来又对银行的发展带来新的启示,并催生出新的变革,其中包括思维变革、方法变革、数据管理。思维变革,强调数据的发展趋势与关联关系——不再依赖随机采样数据,着眼于更多数据;不再追求精确性,更强调混杂性;不再热衷于寻求因果关系,而是要从太阳底下的一切事物中汲取信息。方法变革,利用敏捷原则,以实现尽早、持续的数据探索和发现洞察力。数据采集、数据预处理、数据存储、数据分析、结果展现为数据管理中的五大关键点。

关于未来大数据的建设,刘雷表示数据平台未来应该更具开放性,但对于银行来说,安全和开放又相互矛盾,这是未来应该重点考虑的问题。另外,数据处理要更具实时性,即在交易过程中即可实时模拟,保证交易的安全性等。

伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰:大数据时代的隐私保护:挑战和机遇

伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰首先通过具体实例,分析了挖掘隐私信息的诸多方法,并介绍了两种比较传统的隐私保护模型及它们存在的局限性,同进重点阐述了学术圈认为目前最可靠的隐私保护新模型。


伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰

第一种传统隐私保护模型为K-anonymity,它使用简单,但并未明确定义隐私概念及考虑攻击者所了解的背景信息,很容易被攻破。L-diversity,作为第二种传统隐私保护模型,与K-anonymity的最大区别是确保泛化后的敏感属性充分具有多样性。张振杰表示对攻击者的背景信息缺乏假设,从数据上来说缺乏描述,是K-anonymity及学术圈中另外100多种隐私保护模型普便存在的问题。

最后,张振杰认为在隐私安全得到保护的前提下,进一步获得大数据所带来的效益,可采用增加Laplace噪音的方式。当Laplace噪音增加到一定程度时,可以增加隐私的安全性。

西北工业大学计算机学院教授李战怀:大数据背景下分布式系统的数据一致性策略

西北工业大学计算机学院教授李战怀在主题演讲中表示一致性是数据最关键的属性之一。随着计算技术的发展,硬件基础及应用需求的变化给数据一致性的处理提出了新的需求。关系数据库建立之初就是为应对“大数据”的管理问题,特别是并发操作的数据一致性问题。而在分布式系统中的一致性,具有规模巨大、分布广泛的特点,其中副本成为处理大数据一致性的难题。


西北工业大学计算机学院教授李战怀

处理数据一致性时常用的模型包含强一致性、弱一致性及最终一致性。其中BASE模型为倾向最终一致的模型。可使用的一致性控制技术及策略有本地(集中)并发控制、分布式并发控制及NWR策略等。李战怀对一致性理论与相关技术进行了总结。

关于分布式系统的一致性选择方面,李战怀重点强调了CAP和PACELC原理。PACELC是对CAP的反思与补充。他指出系统设计的时候需要进行各式各样的权衡,这并不是一个简单的CAP或者PACELC就能够解决的,需要按需决策。不同领域对不一致性的容忍程度是不同的,容忍程度是系统设计时需要重点考量的因素。有很多场景甚至也可以用优雅的外部方式处理不一致性带来的问题(与领域相关并需要领域知识)。

最后,他总结数据处理系统对一致性的需求始终存在。大数据背景下一致性存在多种选择,不同的应用场景适用不同的一致性,没有最好只有最适合;企业级应用对于强一致性的需要将长期存在;未来甚至可以会出现混合一致性(多种一致性共存,甚至存在于一个应用中)。

新加坡管理大学信息系统学院助理教授朱飞达:社交媒体大数据挖掘及智能商业应用

新加坡管理大学信息系统学院助理教授朱飞达在演讲中通过分析社交媒体数据与企业所收集到的数据间的差异性,强调了社交媒体数据在设计商业应用过程中所起到的重要作用。社交媒体帮助商业应用最终要达到的目标应为,对的时间对的地点给对的人推荐对的服务。


新加坡管理大学信息系统学院助理教授朱飞达

然而在利用这些社交媒体数据时,又将面临四大挑战,即用户线上与线下行为如何打通;如何把用户在不同社交媒体上的帐号连接起来——这项工作很有意义,同样难度也很大;其次则为实时响应及数据可用性。应对这些挑战,最好的解决办法是对用户行为进行研究,用户行为数据是社交媒体所独有的。

在演讲最后,朱飞达还介绍了目前在社交媒体数据方面所做的工作。其中一个项目为“Offline Relationship Mining”,意在从社交媒体中找到用户线下真实世界中的朋友。另一个项目专注于把用户在不同社交媒体上的帐号连接起来,以期获得用户完整的信息,该项目将于明年发表。最后一个项目则是通过用户集群行为,寻找到社交网络中的营销帐号及垃圾帐号。

华东师范大学软件学院副教授周敏奇:CLIAIMS——集群感知的内存计算系统 

华东师范大学软件学院副教授周敏奇分享了过去一年半时间开发CLAIMS(CLuster-Aware In-Memory System for high performance data analysis)的历程和感受。为什么开发这样的系统?他表示当前很多企业需要实时性分析系统,而现在计算机硬件的发展已使实时分析成为可能。内存集群计算是应用需求和硬件发展的必然趋势,但通讯墙问题却成为阻碍内存集群计算发展的主要瓶颈。开发CLAIMS主要是为了解决内存通讯墙的问题。


华东师范大学软件学院副教授周敏奇

CLAIMS主要面向OLAP型应用(类似Teradata),以处理关系数据库为主,可扩展到非结构化数据,采用按列存储数据,意在解决通讯墙问题。CLAISMS系统在实时处理数据分析方面已获得较高性能。目前,CLAISMS的系统主体开发已经完成。计划2014年4、5月份开源CLAISMS的首个版本。

更多精彩内容,请关注直播专题2013中国大数据技术大会(BDTC)  ,新浪微博@CSDN云计算。 

在VB中使用API函数 (之五) 在VB中使用API函数 (之一) 在VB中用API实现多媒体 VB怎样用VB在应用程序中调用API VB怎样在DELPHI中使用API函数 指定文件夹-VB资料 VB5中注册控件三法 Bug:维护 Internet Transfer Control 之 Username 及 Pass VB对低层硬件访问控制 HitTest的妙用 -VB资料 ListBox项的控制-VB资料 VB 6.0中类聚集关系的实现 VB6编程中如何获取硬盘分区信息 VB的坐标系统综述 VB调用C程序动态链接库的方法 VB对低层硬件的访问控制 VB软件开发中的错误捕获及处理技术 VB中Combo的一种输入检查制约方法的实现 VB中Winsock控制的UDP协议的使用 VB中的时间处理问题 Windows操作平台下CGI的实现 -VB资料 按下某组键(HotKey)便执行某程式-VB资料 把所有的字体名称放到 ComboBox -VB资料 把文件置入到Text或RichText中-VB资料 捕捉 MouseExit 事件 -VB资料 操作过程动态显示 -VB资料 查找月份的最后一天-VB资料 程序启动时,如何自动判断 MDB文件是否损坏并自动修复?-VB资料 读取和修改Windows注册表 -VB资料 对VB的IDE环境的扩展 防止文本控件中的部分滚动-VB资料 ★大家好呀,这是我为一些公司做的网站,请多多批评!小弟在此感谢,放分咯!!!! 应届毕业MM求职! 关于 php遇到日期怎么办? 这是一个"确定取消"的例子,谁能帮我解决这个问题??? 给无向图着色的问题!请各位大侠帮忙!! 急!!c1001错误 c1001错误怎么办? 一个关于用VC6开发3ds插件的问题?! 请推荐个好的代理软件~~顺便请教一个域的问题 有谁用过lddj????请教请教。 为什么很多搞程序的讨厌3721? 为什么我做的个人主页 用google 或则用 yahoo无法搜索到 如何用pb65实现拨号功能,最好有例程,多谢!!!! 服务器端脚本和客户端脚本,优先使用谁?前辈指教 如何删去页眉的那条横线? 网络编程的迷惘 如何做好项目经理?要具备哪些条件?注意什么?根据人气我会重复开贴 关于多台电脑的串口通信,请高手执教!!!!!!不够可以在加!!!! 请问如何实现两个select的动态对应。 如何将文本框中的文字垂直居中显示? 诚聘vb.net软件开发人员 急:怎么查看oracle 的encoding参数? 关于多台电脑的串口通信,请高手执教!!!!!!不够可以在加!!!! 各位大侠,我想用VB实现多线程,如何做?小弟在线急等,QQ:19671554 关于多台电脑的串口通信,请高手执教!!!!!!不够可以在加!!!! 各位大侠,我想用VB实现多线程,如何做?小弟在线急等,QQ:19671554 SimpleObjectBroker问题 我的报表需要打印"接下页" 猜字游戏 小弟载了一个教程,里面的文件扩展名是pdf的,请问要用什么软件打开啊? 求教一个简单的问题。关于打包。 在线等。在线等 关于函数 ASP.NET中操作EXCEL,为何添加操作可象操作ACCESS一样没问题,而删除和更改操作却出错?100*n分for your answer 求助:如何调出linux下kppp源代码? www.clpclub.com是不是不能上了? 如何制作登陆窗口? 关于中大型网站如何应用软件工程的问题 求救高手,如何使双硬盘同步写 请问怎样在用户点击(s)后将用户点击的软件自动安装到用户(c)的机器上 请问如何用网站提供的搜索引擎,知道查找关键字,我用的是WebBrowser1,100分呀 tomacat的配置问题?急 学过严蔚敏的〈数据结构(C语言版)〉的请进! 开发过nokia上运行程序的朋友,请进来,本人遇到一个非常麻烦的问题,欢迎各位赐教. 如何从字符串中提取单词? 谁知道那里有longhorn下载??? 100分请教实现播放列表的思路? 有关图形化公交车线路的问题!! 关于网站软件工程的问题 我的sqlserver 2000 在安装的时竟然说什么不支持??? 免费ASP空间申请 离子键是否一定只存在于金属元素和非金属元素之间?举例说明 大学英语挂科了,应该以什么样的心情对待.(就要过年了) 要说明几组实验数据之间的关系应该改用什么数学分析方法?有一百多组实验数据,像溶液测得的阴阳离子,微量元素离子,每一个水样测这些内容. 如图 大学英语要挂科了,我一点点都不会啊,怎么办? 他说话很尖锐,常常会让人下不了台.尖锐的意思 微积分2个问题 1、求曲线y=x^3+1在点(1,2)处的切线方程2、y=x^2+sin3x,求y′′ 大学英语挂科了,补考好过么我是北京工业大学的,我们班基本上就没几个挂的,但是很不幸我挂了.我从小英语就不好,补考心里也没底.一般而言补考容易过么?重修好麻烦啊... 常用的数学分析方法有哪些?我是要处理一些人文类数据,总结规律,预测走向 微积分问题~~求X~~详细过程,谢谢.急 大学英语全勤的话多少分挂科 他说话很尖锐,常常会让人下不了台.一句中尖锐的意思 1、计算当X趋近于正无穷时,lim(1+x/n)的n次幂2、求不定积分∫sin(lnx)dx 大学英语挂科重考失败一定重修吗? 初中数学 数据的常用分析方法有哪些?详细点 宏宇陶瓷吸水很快,质量行不行呀?看了很多网友的推荐,选了宏宇陶瓷.但是装修师傅说,这个砖太软了,而且吸水非常快,一两秒就吸光了,现在不太确定宏宇的砖行不行呀?会不会用个五六年就开 已知某步进电机的参数:相数m=5、齿数m=4,通电方式系数k=1或2.请根据步进电机的工作原理写出其通电顺序 怎么说话变得很犀利,一针见血的那种. 陶瓷烧好了之后表面为什么感觉在吸水 前16页的答案即可,全一点,我给的分很高.饿,我是临沂的- - 地块HTP层次分析方法是什么 化学与生物学的基本关系 为什么不能用硫酸验证碳酸钠?我考试时一道化学题叫你验证碳酸钠,我写滴加硫酸,为什么错了?它们反应不是要生成碳酸,再分解产生二氧化碳有气泡产生吗? KF,KCl,KBr三者熔点大小 一种铁矿石每100克里含铁60.2克,每克铁矿石含铁多少克?一千克这种铁矿石含铁多少克?要有详细算式的..可以的我多给30分.. 电子离原子核的距离跟什么有关? Na的熔沸点比KF的高 原因是?额 NaF 化学变化与生物的形成有什么关系 原子核与第三层电子距离为多少?(电子轨道长半轴也行),原子结构行星模式有什么重大发现,与太阳系有什么相似性,(高中生请问).我是求三层电子摆脱电子核的外力大小,与地球离开太阳力大小 现有KCl、KBr、KI、KF四种溶液,只用一种试剂即可鉴别,这种试剂是A.AgNO3溶液 B.BaCl2溶液 C.石蕊试液 D.酚酞试液化学一窍不通了已经... 下列说法中正确的是[ ]A.在25℃纯水中,c(H+)=c(OH-)=10-7 mol/L,呈中性B.溶液中,若c(H+) > 10-7mol/L,则c(H+) > c(OH-),呈酸性 C.c(H+)越大,则pH越大,溶液的碱性越强 D.pH=0的溶液中,只有H+而无OH- 答案 原子核吸引电子的吸力与距离平方成反比的理解.就是说电子离原子核越远,原子核对电子的吸力就越大,反之电子离原子核越近,原子核对电子的吸力就越小.这种理解正确吗? 有关电离能电子亲和能和电负性周期表中电离能最大和最小,电子亲和能最大的元素,电负性最大的元素,主族元素第一电离能大于左右相邻两个元素的元素 某二价金属元素,它的氧化物质量为14g,全部转化为氯化物时质量为27.8g,则此金属元素的式量为 【英语】“参加面试”的“参加”用哪个词组?take part in?participate in?or...RT, 将药品装入试管 操作错误造成的后果 高锰酸钾粉末进入_______ 填空 基础会计业务题(一)资料:1.收到客户支付的上月所欠货款60万元; 2.仓库发出材料40,000元,用于生产A产品21,900元,B产品18,100元;3.从银行存款中提取现金30,000元; 4.以现金支付职工资24,000元 参加比赛 的 英文词组有哪些? 詹天佑课文概括 基础会计题(材料采购业务)1.蓝天公司10月2日购入原材料一批,买价5000元,增值税为850元(增值税率为17%)运杂费合计20元,全部款项已用银行存款支付,原材料已验收入库.2.假设上述材料付款 《宽容》阅读中一针见血的意思是 课文詹天佑的5.6两段可概括为什么? 做下有关基础会计的题目 巜宽容》里的一针见血是什么意思,通常的含义呢? 为啥C的电离能低于N而其电子亲和能也高于N呢?我觉得好像这两个量一般是“反”的吧…… 基础会计,第五六题为什么 小学二年级语文上册28课习题:看到小动物受伤了,你在乎吗?你会怎么做呢? 【化学竞赛】怎样理解电子亲和能在数值上比电离能小一个数量级 有一种氯化物实验测得它含氯的质量分数为47.65%这种质量是 有一纯净的亚硫酸钠晶体因部分被氧化而变质,为了测定样品中杂质的质量分数,现进行以下实验过程.请回答 Ulah,Bluebird,the car he was driving,had been specially built for him.句子成分 生活中闹出笑话的例子某包皮店门口挂了一块广告牌,上面写“质量可靠,绝对牛皮”,行人看了纷纷大笑.像这样闹出笑话的例子,生活中你还遇到过吗?请写一个出来. 在溶液中能大量共存,加入OH-有沉淀析出,加入H+有气体放出的是A.Na+,Cu2+,Cl-,SO4^2-B.Fe3+,K+,SO4^2-,NO3-C.H+,Al3+,OH-,NO3-D.Na+,Ca2+,Cl-,HCO3- 看到小动物受伤了, 求x+x-2的平方根=2中的x 如何控制步进电机的转速呢? 在132页口语交际,小明怎样说服爸爸的?生活中,还遇到过哪些伤害动物的事 e∧x∧2中的2可以提到e前面吗? 化学与生物学最基本的关系 讲话时如何能做到一针见血? 中国上市公司三季报业绩再涨 四季度增朴槿惠:日本应向德国学习正视历史错误世界主要城市11月4日天气预报萨耶赫:“非洲要重返经济危机前高速发浙江普陀山大型翡翠观音宝像开雕载70人船只在缅甸海域倾覆 已找到8美共和党议员称国安局或监听奥巴马电话朴槿惠:日本应向德国学习正视历史错误美军士兵与怀孕妻子视频聊天目睹其被歹载70人船只在缅甸海域倾覆 已找到8伊朗最高领袖称支持伊核问题会谈 对前快讯:载70人船只在缅甸海域倾覆 已美无人机再清除巴塔首领 和谈生变惹怒英国一医院医疗过失误诊流产 恐致死逾英国一医院医疗过失误诊流产 恐致死逾伊朗最高领袖称支持伊核问题会谈 对前中国珠算备选“非遗” 入选“非遗”项日媒:两艘中国海警船驶入钓鱼岛附近毗第十一届夏威夷“中国风情节”开幕浙江部分行政区划调整 绍兴县上虞市撤宁波住博会市民看房重开发商 遗憾大牌英语教育名言警句Benjm-修:资金告急 下周怎么办【一首诗】“人们”是个客观的词小伙挖虫草夜宿山顶 重感冒被困470\"风车女神团\"惊现春熙路 20万“五一”起游1路公交车恢复运行美元霸权“穷途末路”,难逃货币战、石黑芝麻能让头发变得更黑吗?黑芝麻怎样专利在手 谈nubia Z11 mi包刚升谈民主③:历史更多站在民主政体日媒:日本研发国产隐形战机 意在对美美媒:英女王家族寿星多 查尔斯有时间俄媒:北约拟组建黑海舰队 联手对抗俄美媒:美国华尔街银行家将面临“最严限美媒分析外星生命会在哪被首先发现:火俄罗斯通过新法案 公民可免费获得1公英媒:机器人和尚亮相中国寺庙 会讲经网友建议更换智能渣土车 官方回复:条昆明饭店一厨师厨艺精湛 享受国务院津海南去年打掉恶势力团伙17个 现行命山西最紧张时刻:万亿煤炭巨债缠身,借
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘