说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据研究与发展专题论坛:大数据在各领域中的应用及发展策略

HTML文档下载 WORD文档下载 PDF文档下载
在2013BDTC“大数据研究与发展”专题论坛上,来自中国科学院、交通银行、伊利诺伊大学、西北工业大学、新加坡管理大学、华东师范大学软件学院的多位演讲嘉宾针对大数据在各领域中的应用及发展策略展来了深入探讨。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

12月6日下午举行的“大数据研究与发展”专题论坛上,华东师范大学云计算与大数据研究中心主任周傲英担任论坛主席,中国科学院院士、数学与系统科学研究院研究员陆汝钤,交通银行软件开发中心副总经理刘雷,伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰,西北工业大学计算机学院教授李战怀,新加坡管理大学信息系统学院助理教授朱飞达,华东师范大学软件学院副教授周敏奇多位演讲嘉宾针对大数据在各领域中的应用及发展策略展开了深入探讨。


周傲英担任论坛主席,对演讲嘉宾及演讲内容进行概要介绍

中国科学院院士、数学与系统科学研究院研究员陆汝钤:超大规模知识工程

中国科学院院士、中科院数学与系统科学研究院研究员陆汝钤在主题为《超大规模知识工程》的演讲中重点回顾了知识工程的发展历程,并对未来发展进行了展望。


中国科学院院士、中科院数学与系统科学研究院研究员 陆汝钤

1968年,第一个专家系统“启发式DENDRAL”问世,预示着第一代知识工程,即中小规模知识工程的开始。1978年,第一个国产专家系统问世,知识工程从此进入中国。第一代知识工程为社会带来了显著的经济效益,但专家系统知识的局限性,使其只能很好地解决具体问题,离开特定领域后则显得无能为力。

第二代知识工程(大规模知识工程)从1980年开始,代表性技术为海量知识库,数量级达百万,如1984年Doug Lenat开发的Cyc大型知识库。作为人工智能的补充,人们在知识的获取与组织上,开始逐渐采用软件工程思想。而这也进一步导致了知识内容一致性问题、知识的独立商品化问题及知识开发的“群众路线”问题。

2000年,知识工程进入超大规模阶段,即第三代知识工程。这一阶段,因特网、万维网、搜索引擎和浏览器兴起,整个搜索网页数达到数十/百亿,使因特网成为知识获取的主要来源。正如知识工程挽救人工智能颓势一样,网上知识工程成为主要生长点,但浏览器提供给人们的海量网页,从本质上是无法利用的,需要用户从中查找、整理所需的知识。

第四代知识工程,又名极大规模知识工程,是人们对未来知识工程发展的展望。该阶段的知识量级将达T级,浏览器将集浏览、挖掘、编辑、出版一体化,同时每个人都可拥有自己的因特网,知识可以像空气一样自动传播,知识服务将成为最重要的服务业。

交通银行软件开发中心副总经理刘雷:商业银行大数据应用的探索与实践

交通银行软件开发中心副总经理刘雷主要围绕大数据时代的机遇与挑战、大数据战略的实践与探索、大数据建设的展望与设想三个方面分享了商业银行在大数据应用上的探索与实践。


交通银行软件开发中心副总经理刘雷

随着银行业的迅猛发展,其正面临着来自内部及外部两方面的压力,内部压力主要有运营成本增加、人员规模增长、精细化管理及业务拓展;外部压力则表现为机器所产生的大量数据、社交网络对人际关系的改变及互联网金融的崛起。刘雷表示,银行在以前的大数据管理中存在诸多误区,如重数据应用,轻数据管控;认为实施大数据只是技术性工作;认为实施大数据战略就是建设数据仓库;必须有配套的组织机构建设。

这些压力反过来又对银行的发展带来新的启示,并催生出新的变革,其中包括思维变革、方法变革、数据管理。思维变革,强调数据的发展趋势与关联关系——不再依赖随机采样数据,着眼于更多数据;不再追求精确性,更强调混杂性;不再热衷于寻求因果关系,而是要从太阳底下的一切事物中汲取信息。方法变革,利用敏捷原则,以实现尽早、持续的数据探索和发现洞察力。数据采集、数据预处理、数据存储、数据分析、结果展现为数据管理中的五大关键点。

关于未来大数据的建设,刘雷表示数据平台未来应该更具开放性,但对于银行来说,安全和开放又相互矛盾,这是未来应该重点考虑的问题。另外,数据处理要更具实时性,即在交易过程中即可实时模拟,保证交易的安全性等。

伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰:大数据时代的隐私保护:挑战和机遇

伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰首先通过具体实例,分析了挖掘隐私信息的诸多方法,并介绍了两种比较传统的隐私保护模型及它们存在的局限性,同进重点阐述了学术圈认为目前最可靠的隐私保护新模型。


伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰

第一种传统隐私保护模型为K-anonymity,它使用简单,但并未明确定义隐私概念及考虑攻击者所了解的背景信息,很容易被攻破。L-diversity,作为第二种传统隐私保护模型,与K-anonymity的最大区别是确保泛化后的敏感属性充分具有多样性。张振杰表示对攻击者的背景信息缺乏假设,从数据上来说缺乏描述,是K-anonymity及学术圈中另外100多种隐私保护模型普便存在的问题。

最后,张振杰认为在隐私安全得到保护的前提下,进一步获得大数据所带来的效益,可采用增加Laplace噪音的方式。当Laplace噪音增加到一定程度时,可以增加隐私的安全性。

西北工业大学计算机学院教授李战怀:大数据背景下分布式系统的数据一致性策略

西北工业大学计算机学院教授李战怀在主题演讲中表示一致性是数据最关键的属性之一。随着计算技术的发展,硬件基础及应用需求的变化给数据一致性的处理提出了新的需求。关系数据库建立之初就是为应对“大数据”的管理问题,特别是并发操作的数据一致性问题。而在分布式系统中的一致性,具有规模巨大、分布广泛的特点,其中副本成为处理大数据一致性的难题。


西北工业大学计算机学院教授李战怀

处理数据一致性时常用的模型包含强一致性、弱一致性及最终一致性。其中BASE模型为倾向最终一致的模型。可使用的一致性控制技术及策略有本地(集中)并发控制、分布式并发控制及NWR策略等。李战怀对一致性理论与相关技术进行了总结。

关于分布式系统的一致性选择方面,李战怀重点强调了CAP和PACELC原理。PACELC是对CAP的反思与补充。他指出系统设计的时候需要进行各式各样的权衡,这并不是一个简单的CAP或者PACELC就能够解决的,需要按需决策。不同领域对不一致性的容忍程度是不同的,容忍程度是系统设计时需要重点考量的因素。有很多场景甚至也可以用优雅的外部方式处理不一致性带来的问题(与领域相关并需要领域知识)。

最后,他总结数据处理系统对一致性的需求始终存在。大数据背景下一致性存在多种选择,不同的应用场景适用不同的一致性,没有最好只有最适合;企业级应用对于强一致性的需要将长期存在;未来甚至可以会出现混合一致性(多种一致性共存,甚至存在于一个应用中)。

新加坡管理大学信息系统学院助理教授朱飞达:社交媒体大数据挖掘及智能商业应用

新加坡管理大学信息系统学院助理教授朱飞达在演讲中通过分析社交媒体数据与企业所收集到的数据间的差异性,强调了社交媒体数据在设计商业应用过程中所起到的重要作用。社交媒体帮助商业应用最终要达到的目标应为,对的时间对的地点给对的人推荐对的服务。


新加坡管理大学信息系统学院助理教授朱飞达

然而在利用这些社交媒体数据时,又将面临四大挑战,即用户线上与线下行为如何打通;如何把用户在不同社交媒体上的帐号连接起来——这项工作很有意义,同样难度也很大;其次则为实时响应及数据可用性。应对这些挑战,最好的解决办法是对用户行为进行研究,用户行为数据是社交媒体所独有的。

在演讲最后,朱飞达还介绍了目前在社交媒体数据方面所做的工作。其中一个项目为“Offline Relationship Mining”,意在从社交媒体中找到用户线下真实世界中的朋友。另一个项目专注于把用户在不同社交媒体上的帐号连接起来,以期获得用户完整的信息,该项目将于明年发表。最后一个项目则是通过用户集群行为,寻找到社交网络中的营销帐号及垃圾帐号。

华东师范大学软件学院副教授周敏奇:CLIAIMS——集群感知的内存计算系统 

华东师范大学软件学院副教授周敏奇分享了过去一年半时间开发CLAIMS(CLuster-Aware In-Memory System for high performance data analysis)的历程和感受。为什么开发这样的系统?他表示当前很多企业需要实时性分析系统,而现在计算机硬件的发展已使实时分析成为可能。内存集群计算是应用需求和硬件发展的必然趋势,但通讯墙问题却成为阻碍内存集群计算发展的主要瓶颈。开发CLAIMS主要是为了解决内存通讯墙的问题。


华东师范大学软件学院副教授周敏奇

CLAIMS主要面向OLAP型应用(类似Teradata),以处理关系数据库为主,可扩展到非结构化数据,采用按列存储数据,意在解决通讯墙问题。CLAISMS系统在实时处理数据分析方面已获得较高性能。目前,CLAISMS的系统主体开发已经完成。计划2014年4、5月份开源CLAISMS的首个版本。

更多精彩内容,请关注直播专题2013中国大数据技术大会(BDTC)  ,新浪微博@CSDN云计算。 

VB5实现窗口图像缩放、滚动技巧 VB6.0动态加载ActiveX控件漫谈 VB编程步步高-表单篇 VB编程常见问题 VB编程中如何锁定鼠标 VB创建位图菜单 VB实现按钮浮动效果 VB应用程序中的工具提示和状态显示 VB中处理长列表框项的两种方法 VB中多级下拉列表的实现 VB中防止将重复项目添加到列表框控件中 VB中实现菜单分割 VB中实现带预览的对话框 VB中实现同一窗口的多个实例及控件的动态增减 VB中阴影字体的实现 VB自定义数据结构的传输转换 Visual Basic 窗体背景花纹的实现 Visual Basic 中的界面设计原则和编程技巧 Visual Basic 中文本框处理技巧集萃 Visual Basic 中字符淡出淡入的实现 Visual Basic窗体背景花纹的实现 Visual Basic下工具条的制作 Visual Basic中的界面设计原则和编程技巧 Visual Basic中在同一界面输入大量数据的几种方法 VisualBasic中的界面设计原则和编程技巧 VisualBasic中用户界面的设计原则 把 VB 标准的工具栏变成平面式 把窗体卸载干净-VB资料 保持初始的窗体大小-VB资料 编程实现将所有窗口最小化-VB资料 不规则形状窗口详细说明 -VB资料 备份主域控制器加入后,登陆不进去了 新手上路,DDE的,绝对给分!!! 帮帮我 怎样修改一个窗口的系统菜单? 怎样将自己做的ASP.NET程序放到IIS服务器上去?服务器需要怎么配置? 在线等待一个问题!!!解决问题就散帖 关于NETANT的有不健康连接的通知????? 一个关于SQL_Server2000复制时发生的问题,请大家帮忙!(在线等待) 当我删除一条记录时会跳出错误,谁帮我看看 请囊相授求帮助 对这个程序实现上大家有什么想法? 触发器一行更新与多行更新有什么区别 请问如何能让我的Cricheditctrl最多输入100个字符???谢谢!!!!! 关于向数据库中插入时间的问题 在局域网中如何判断是否连到服务器?(用delphi) 有没有嘉兴的高手?QQ13136276mailsunrace@163.com 150分:怎样实现类似Delphi中的TClass.Create的功能? 请大家给我这个oracle初学者一些入门指点(偏重Developer 和discoverer方面) 请教! 关于winnt4的救命问题,如何共享上网? 急!!小弟现在用midas做一个三层的系统,用Dcom连接,但是在客户端连接服务器说类字符串未注册 关于选择菜单的这个功能怎么实现 高分求书:用DELPHI搞数据库的书! 关于Potoshop编程的有关问题,知道的请进! 如何改变列表题背景颜色,数据窗口控件用的是动态sql语句。 如何把unsigned long型的对方IP地址,设在ClientSocket的IP中 开发游戏软件一般要用到什么编程工具和编程语言? 为什么 semaphore 和 event variables 是不好的? 在dos下,如何用汇编语句获知XXX盘符是否为网络盘或本地盘或substed盘??? 如何实现字符串种的准确查询! 灰头土脸的问 F7 & F8 区别到底是什么? 我看着都是单步.... 如何在 windows下 破解 写保护卡? VC+ADO,怎么实现把*.DBF表导入SQLServer2k里。 一个关于库文件的问题 我在用VB编数据库SQL SERVER,想实现数据库中关键表在本地磁盘中备份,通过代码应该怎样实现 谁想与我交换主页链接 一个程序编译通过后,我把paradox数据表的某一字段由N型改为了A型,结果运行时出错,应该怎么做呢? 如何用存储过程将一个查询的结果存为本地的一个XML文件? 有人知道.DUL文件是什么东西,有什么用,怎么创建? 如何把richtext.text的内容发到直接激活的word文档中?(在线等待) 高人指点,高人救命,我急。这是我唯一的办法了。 C++中为什么析构函数可以是虚函数,而构造函数不可以是虚函数? 100分求救:谁有webeasymail的解密版本或是能用的注册机??? 寻求C++参考书 高分问一个简单问题,什么叫“RAM驱动器”? 关于运算符重载的问题,请高手进来看看 如何把unsigned long型的对方IP地址,设在ClientSocket的IP中 为什么打开防火墙后,别人不能浏览自己的主页了? 钩子函数 请问如何唤醒机器? 刚才我在厕所里发线一条,全红色的,又细又长的虫子.大约五厘米长,一毫米宽,好可怕这是什么虫子啊?后来我拿了一个纸条,点火给烧死了.烧的时候还啪一声响.这是什么虫子啊?好可怕啊.有毒 反映边塞生活的诗句一句 十加十等于几 would you like to …… 的肯定回答和否定回答what are the top five hobbies in your class?的翻译是?最好写出这句的回答At the end of this term,there will____(be/have) a stone show in our school.(需要理由)作业批下来后 描写边塞生活的诗 冰棍 英语怎么说冰棍和冰激凌 都叫 ice cream? would like 否定形式wouldn't like to do和would like not to do的区别 用什么词来形容大象?拜托各位大神 昆虫叮咬红肿怎样快速消肿 关于would like 的回答Would you like something to drink 是 用Yes ,I’d like 还是用Yes ,I’d like to 或用Yes ,I’d love 或Yes ,I’d love to 回答Would you like some eggs 是 用Yes ,I’d like 还是用Yes ,I’d like to 或用Yes ,I 十加十等于多少 十加十一等于几 养鸡场里公鸡的只数是母鸡的4分之3,母鸡比公鸡多300只,公鸡和母鸡各有多少只 十加十等于什么? 被虫子咬肿了怎么办要在小指上,硬硬的,挤一下还会有白色的液体流出来,用花露水可以吗 1.养鸡场养的母鸡比公鸡多三分之一,母鸡有2240只,公鸡有多少只2.李云看一本书,第一天看了24页,第二天看了全书的 1 ,两天共看了全书的 1 —— 某车间有两个生产小组,甲组人数比乙组多八分之三,若从甲出六人给乙,两组人相等,原来甲乙两组各几人? 一块合金含铜的比是3:4,用此合金制造成铜与锌的比为1:2的新合金396克,需要添加( )多少克?括号里填铜或锌,多少克也要求的.题目第一句话改为一块合金含铜与锌的比是3:4 养鸡场有母鸡1200只,比公鸡的5分之2多200只,公鸡有多少只? 貌似都不对哈 一年级没有这个内容哦 晕死 现在的小学生作业 无语唉。 your bag looks nice .i'd like__A.one B it C.this D.a选哪个?A和B 很纠结啊 养鸡场养的母鸡比公鸡多3分之1,公鸡有1680只,母鸡有多少只? He has a brother and a sister.(改成否定句) 韩国有首歌 歌词开头是 i like like this i like like that 是什么歌?就是最新一期天天向上开头曲几个小孩跳舞的背景音乐 2012 3月23的歌词开头是 i like like this i like like that i like this i like that ye 自来水里的红色小虫是什么?自来水放在太阳能水桶里,从水桶里放出的水里面就有这种红色虫虫,图片是我在网上搜的,形状就是这个样子,是红色的.希望知情人告知,是否会伤害身体,现在洗澡 形容大象的英文形容词 This bag is not the same as that one.(改为同义句) 水里面长的线形虫子,一碰就缩土里面了我喜欢种花,买了颗莲花,里面半水,半泥的养着,这段时间看叶子老是变黄,我仔细一看里面有好多的虫子,其中一个特别的奇怪,不知道是什么虫子(不是 十加二等于几? would you like some juice___(drink)根据首字母完成单词 a set of keys作主语是谓语动词使用单数还是复数 描写边塞军旅生活的古诗有哪些? 小米红米手机今天抢购不得,下次还有在官网有抢购吗,还有多少次这样!, 那种植物上的虫,红色的,小小的圆的,用什么东西能消灭它?不要告诉我用烟丝可以啊那个烟丝没效果的大蒜水也没效果的家庭使用的,最好环保的 a set of keys 后用单数还是复数谓语 描写边塞生活的诗句6条以上 a pair of的复数形式是pairs么. 名词复数不规则变化?谁知道名词复数不规则变化是什么啊?感激不尽啊! 描写边塞军旅生活的诗句 a pair of 可以加复数吧?a pair of jeans. 后面jeans 是复数.但还是指一件吧,只是常用做复数形态? 类似trousers?a pair of 后面能跟 单数 可数名词吗?2.A pair of shoes is worn out是不是被动? pair 的复数形式要读s 还是z 类似的怎样区分读音 描写边塞的生活诗 句有那些像出塞和凉州词的古诗描写的是边塞生活.像这样的古诗有很多,你还知道那些, Would you like的用法搭配是很多种用法,加上例句,意思, pair的复数 甲乙两个车间,共有80人,从甲车间调6人到乙车间后,两个车间的人数就相等了.原来甲乙两个车间各有多少人? 谁能详解一下What would you like的用法啊? pair改写成复数怎么写? 有甲乙俩车间,甲人数比乙的80%少30人,如乙调10人来甲,甲车间人数是乙车间的75%,原来俩车间各多少人 would you like to和would you like的区别would you like to go to school with me和would you like some coffee。是不是原型就是would you like 只不过前者加to表示目的? 甲粮仓有120吨粮,现在从甲调出15%给乙,这时甲相当于乙的80%,乙有多少吨? 10加10等于 区别Would you like 和May I回答时的用法区别Wounld you like和May I的用法 《最后一头战象》大象的叫声那个是什么字就是口子旁加个海鸥的鸥 甲乙两车间共80人 甲车间有x人 乙车间有y人 如果甲车间调5人到乙车间,则甲车间人数乙车间人数的3分之1,根据题意可列出方程组急 养鸡场公鸡比母鸡多249只,养的公鸡是母鸡的4倍,公鸡母鸡各养几只? 形容大象吼声的那个字怎么输入?一个“口”一个“欧” 一代白糖40千克用了五分之三,还剩几分之几? 黄牛尾巴断了,应该怎样给黄牛治疗 (1)反映深厚友谊的诗句?(2)反映边塞生活的诗句?(2)表现爱国精神的诗句?(1)反映深厚友谊的诗句?(2)反映边塞生活的诗句?(2)表现爱国精神的诗句?(在回答问题时,回哪一题,就先把题目的编号写好, 两个冰激凌 用英语怎么说
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘