说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据研究与发展专题论坛:大数据在各领域中的应用及发展策略

HTML文档下载 WORD文档下载 PDF文档下载
在2013BDTC“大数据研究与发展”专题论坛上,来自中国科学院、交通银行、伊利诺伊大学、西北工业大学、新加坡管理大学、华东师范大学软件学院的多位演讲嘉宾针对大数据在各领域中的应用及发展策略展来了深入探讨。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

12月6日下午举行的“大数据研究与发展”专题论坛上,华东师范大学云计算与大数据研究中心主任周傲英担任论坛主席,中国科学院院士、数学与系统科学研究院研究员陆汝钤,交通银行软件开发中心副总经理刘雷,伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰,西北工业大学计算机学院教授李战怀,新加坡管理大学信息系统学院助理教授朱飞达,华东师范大学软件学院副教授周敏奇多位演讲嘉宾针对大数据在各领域中的应用及发展策略展开了深入探讨。


周傲英担任论坛主席,对演讲嘉宾及演讲内容进行概要介绍

中国科学院院士、数学与系统科学研究院研究员陆汝钤:超大规模知识工程

中国科学院院士、中科院数学与系统科学研究院研究员陆汝钤在主题为《超大规模知识工程》的演讲中重点回顾了知识工程的发展历程,并对未来发展进行了展望。


中国科学院院士、中科院数学与系统科学研究院研究员 陆汝钤

1968年,第一个专家系统“启发式DENDRAL”问世,预示着第一代知识工程,即中小规模知识工程的开始。1978年,第一个国产专家系统问世,知识工程从此进入中国。第一代知识工程为社会带来了显著的经济效益,但专家系统知识的局限性,使其只能很好地解决具体问题,离开特定领域后则显得无能为力。

第二代知识工程(大规模知识工程)从1980年开始,代表性技术为海量知识库,数量级达百万,如1984年Doug Lenat开发的Cyc大型知识库。作为人工智能的补充,人们在知识的获取与组织上,开始逐渐采用软件工程思想。而这也进一步导致了知识内容一致性问题、知识的独立商品化问题及知识开发的“群众路线”问题。

2000年,知识工程进入超大规模阶段,即第三代知识工程。这一阶段,因特网、万维网、搜索引擎和浏览器兴起,整个搜索网页数达到数十/百亿,使因特网成为知识获取的主要来源。正如知识工程挽救人工智能颓势一样,网上知识工程成为主要生长点,但浏览器提供给人们的海量网页,从本质上是无法利用的,需要用户从中查找、整理所需的知识。

第四代知识工程,又名极大规模知识工程,是人们对未来知识工程发展的展望。该阶段的知识量级将达T级,浏览器将集浏览、挖掘、编辑、出版一体化,同时每个人都可拥有自己的因特网,知识可以像空气一样自动传播,知识服务将成为最重要的服务业。

交通银行软件开发中心副总经理刘雷:商业银行大数据应用的探索与实践

交通银行软件开发中心副总经理刘雷主要围绕大数据时代的机遇与挑战、大数据战略的实践与探索、大数据建设的展望与设想三个方面分享了商业银行在大数据应用上的探索与实践。


交通银行软件开发中心副总经理刘雷

随着银行业的迅猛发展,其正面临着来自内部及外部两方面的压力,内部压力主要有运营成本增加、人员规模增长、精细化管理及业务拓展;外部压力则表现为机器所产生的大量数据、社交网络对人际关系的改变及互联网金融的崛起。刘雷表示,银行在以前的大数据管理中存在诸多误区,如重数据应用,轻数据管控;认为实施大数据只是技术性工作;认为实施大数据战略就是建设数据仓库;必须有配套的组织机构建设。

这些压力反过来又对银行的发展带来新的启示,并催生出新的变革,其中包括思维变革、方法变革、数据管理。思维变革,强调数据的发展趋势与关联关系——不再依赖随机采样数据,着眼于更多数据;不再追求精确性,更强调混杂性;不再热衷于寻求因果关系,而是要从太阳底下的一切事物中汲取信息。方法变革,利用敏捷原则,以实现尽早、持续的数据探索和发现洞察力。数据采集、数据预处理、数据存储、数据分析、结果展现为数据管理中的五大关键点。

关于未来大数据的建设,刘雷表示数据平台未来应该更具开放性,但对于银行来说,安全和开放又相互矛盾,这是未来应该重点考虑的问题。另外,数据处理要更具实时性,即在交易过程中即可实时模拟,保证交易的安全性等。

伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰:大数据时代的隐私保护:挑战和机遇

伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰首先通过具体实例,分析了挖掘隐私信息的诸多方法,并介绍了两种比较传统的隐私保护模型及它们存在的局限性,同进重点阐述了学术圈认为目前最可靠的隐私保护新模型。


伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰

第一种传统隐私保护模型为K-anonymity,它使用简单,但并未明确定义隐私概念及考虑攻击者所了解的背景信息,很容易被攻破。L-diversity,作为第二种传统隐私保护模型,与K-anonymity的最大区别是确保泛化后的敏感属性充分具有多样性。张振杰表示对攻击者的背景信息缺乏假设,从数据上来说缺乏描述,是K-anonymity及学术圈中另外100多种隐私保护模型普便存在的问题。

最后,张振杰认为在隐私安全得到保护的前提下,进一步获得大数据所带来的效益,可采用增加Laplace噪音的方式。当Laplace噪音增加到一定程度时,可以增加隐私的安全性。

西北工业大学计算机学院教授李战怀:大数据背景下分布式系统的数据一致性策略

西北工业大学计算机学院教授李战怀在主题演讲中表示一致性是数据最关键的属性之一。随着计算技术的发展,硬件基础及应用需求的变化给数据一致性的处理提出了新的需求。关系数据库建立之初就是为应对“大数据”的管理问题,特别是并发操作的数据一致性问题。而在分布式系统中的一致性,具有规模巨大、分布广泛的特点,其中副本成为处理大数据一致性的难题。


西北工业大学计算机学院教授李战怀

处理数据一致性时常用的模型包含强一致性、弱一致性及最终一致性。其中BASE模型为倾向最终一致的模型。可使用的一致性控制技术及策略有本地(集中)并发控制、分布式并发控制及NWR策略等。李战怀对一致性理论与相关技术进行了总结。

关于分布式系统的一致性选择方面,李战怀重点强调了CAP和PACELC原理。PACELC是对CAP的反思与补充。他指出系统设计的时候需要进行各式各样的权衡,这并不是一个简单的CAP或者PACELC就能够解决的,需要按需决策。不同领域对不一致性的容忍程度是不同的,容忍程度是系统设计时需要重点考量的因素。有很多场景甚至也可以用优雅的外部方式处理不一致性带来的问题(与领域相关并需要领域知识)。

最后,他总结数据处理系统对一致性的需求始终存在。大数据背景下一致性存在多种选择,不同的应用场景适用不同的一致性,没有最好只有最适合;企业级应用对于强一致性的需要将长期存在;未来甚至可以会出现混合一致性(多种一致性共存,甚至存在于一个应用中)。

新加坡管理大学信息系统学院助理教授朱飞达:社交媒体大数据挖掘及智能商业应用

新加坡管理大学信息系统学院助理教授朱飞达在演讲中通过分析社交媒体数据与企业所收集到的数据间的差异性,强调了社交媒体数据在设计商业应用过程中所起到的重要作用。社交媒体帮助商业应用最终要达到的目标应为,对的时间对的地点给对的人推荐对的服务。


新加坡管理大学信息系统学院助理教授朱飞达

然而在利用这些社交媒体数据时,又将面临四大挑战,即用户线上与线下行为如何打通;如何把用户在不同社交媒体上的帐号连接起来——这项工作很有意义,同样难度也很大;其次则为实时响应及数据可用性。应对这些挑战,最好的解决办法是对用户行为进行研究,用户行为数据是社交媒体所独有的。

在演讲最后,朱飞达还介绍了目前在社交媒体数据方面所做的工作。其中一个项目为“Offline Relationship Mining”,意在从社交媒体中找到用户线下真实世界中的朋友。另一个项目专注于把用户在不同社交媒体上的帐号连接起来,以期获得用户完整的信息,该项目将于明年发表。最后一个项目则是通过用户集群行为,寻找到社交网络中的营销帐号及垃圾帐号。

华东师范大学软件学院副教授周敏奇:CLIAIMS——集群感知的内存计算系统 

华东师范大学软件学院副教授周敏奇分享了过去一年半时间开发CLAIMS(CLuster-Aware In-Memory System for high performance data analysis)的历程和感受。为什么开发这样的系统?他表示当前很多企业需要实时性分析系统,而现在计算机硬件的发展已使实时分析成为可能。内存集群计算是应用需求和硬件发展的必然趋势,但通讯墙问题却成为阻碍内存集群计算发展的主要瓶颈。开发CLAIMS主要是为了解决内存通讯墙的问题。


华东师范大学软件学院副教授周敏奇

CLAIMS主要面向OLAP型应用(类似Teradata),以处理关系数据库为主,可扩展到非结构化数据,采用按列存储数据,意在解决通讯墙问题。CLAISMS系统在实时处理数据分析方面已获得较高性能。目前,CLAISMS的系统主体开发已经完成。计划2014年4、5月份开源CLAISMS的首个版本。

更多精彩内容,请关注直播专题2013中国大数据技术大会(BDTC)  ,新浪微博@CSDN云计算。 

挑战Google!传Facebook与Yahoo要联手开发搜索引擎 揭秘Android 4.2 开发者的天堂与地狱 11大黄金法则:顶级移动UX设计心髓 库克时代:苹果已经不是苹果 设计师必备:极简风格的Fluid UI快速原型图工具 iPhone 5发布,后乔布斯时代苹果乏善可陈 牛人妙计:HTML5应用也能像原生一样跑得快 移动周报:OpenFeint难逃关闭命运 细数与苹果恩怨史 FlyingDaggers团队专访:不浮躁,用心做真正的原创游戏! IT巨头混战:谷歌、苹果、Facebook以及亚马逊的四国演义 乐视TV:智能电视平台——Android 开发者的新空间 TIOBE 2012年12月编程语言排行榜:Objective-C冲刺卫冕年度语言 11月份浏览器市场份额 IE10已占据0.51% 亚洲高科技公司正在分享惠普、戴尔和IBM的云“午餐” Groupon创业启示:进军海外,请三思 天才之为责任:Unity CEO谈论Unity 4.0游戏引擎 中文版Evernote百宝箱上线:开发者海外推广新渠道 360产品被爆收集用户隐私 桌面安全路在何方 销售额达一万亿元 阿里巴巴成世界最大电商 共享软件海外营销策略与实战分析(武汉站)成功落幕 你未必知道的CSS故事:揭开leading的面纱 2013年 影响Web发展的5类API 《Warcraft是怎样炼成的》:多人对战、战争迷雾以及AI HBTC精彩回顾 Hadoop专家分享大数据技术工具与最佳实践 苹果iTV规格泄露:iOS应用开发的新蓝海 Facebook觊觎微信鼻祖WhatsApp,但谈不上收购 首款社交API应用 Facebook Messenger for Firefox正式上线! 共享软件海外营销策略与实战分析(沈阳站)成功落幕 移动之伤:为什么山寨游戏比原创更火? IBM在京发布PureData 主打数据交易处理、操作分析 Intel发布Hadoop免费版 全力拓展生态圈 我下载了linux的iso文件,可怎么安装啊!! 我想问一下,有关于计数器的相关的信息? 救急:是否可以在两个页面(两个单独打开得ie浏览器页面)传递参数,如何实现啊? JDBC相关的两个问题 Oracle8.1.6怎样连接SQL SERVER2000 ?(在线等待) inserted表问题 急!!!关于FileSystemObject问题,在线等 dll 编译问题 请教 请教关于iterator与container? 谁有mixerAPI的中文资料,如(mixerGetLineInfo)我需要弄懂原理(不需要MSDN) 请问“怎么样才能修改以有的flash文件”,拜托,在线等待 如何使相同的子窗口显示一个? ?请教高手有关Align的问题。 高手帮我谢谢注释~~高分相赠~~~~谢谢高手~~~~ 各位大牛们,小弟想请教大家对FlowMIS这个平台有多少了解,用此平台进行二次开发(企业信息系统)好不好。 SQL SERVER2000 怎样连接Oracle8.1.6(在线等待) C语言程序设计 如何在英文字符集的客户端访问服务器为中文的数据库? 那4M是不是让诺基亚给偷了?! 如何调用ResetPrinter函数设置默认打印机 listview使用的问题 delphi的打包问题 请大家推荐一个短信网关 调查:当你身边响起神圣的国歌时,你会不会不由自主站起来,手放到胸前,跟着节奏一起唱起来?(有感而发) 请问如何调用.chm的帮助文件? 如何调用系统默认打印机的属性! 请教新手问题~~~麻烦哪为大侠给解释解释~谢~ 如何用struts实现阴阳色列表? 怎么用vb建立一个数据库呀?注意,不是一个表,是一个数据库! 如何调用系统默认打印机的属性! 一个很老很过时的数码相机。 郁闷,超级简单题目 初学ASP,请教学习心得 我的机器怎么老死机?? 两级表单动态联接?急,急,急!!!!!????? ---见了鬼了,Jre不好用!!!--- 寻求把中文字符串转换为十六进制的串的ORACLE函数? 电力学院惊魂 一條語句 數據庫日誌就寫滿了 怎样获得系统的字体!急!谢谢了! 谁有用java做的聊天系统程序(当作业)分不够可再给 在CB中如何动态的管理窗体 如何调用系统默认打印机的属性! API动态调用问题(很奇观) 好久没有发帖子了,现在心情奇好,兄弟们来接分! 在CB中如何动态的管理窗体 求C#网络编程书籍下载~ 简单问题,在线等待。可以在加分。 请教一题目! thanks sdany java 中能不能实现一个数字键盘 我都14岁了,怎么还没长卵毛,我同学比我小都很长了我都14岁了,怎么还没长卵毛,我同学比我小都很长了.我爸爸六年级就有了 variability是什么意思啊? BIN的《Bin-Go》 歌词 拟写治水必躬亲提纲(明确本文内容,观点及论证方法) sampling variability是什么意思 墨子劝说最终能取胜的关键措施是什么~ 治水必躬亲本文论述了什么道理 说明治水不但要还要 measures of variability是什么意思 【公输】中,墨子的劝说技巧表现在哪些方面?这篇文章语言富于表现力,表现在哪些方面? 什么物质只有癌细胞吸收 Relative-price variability是什么意思 介绍一下什么是驳论 并描述一下如何写 求治水必躬亲单个字单个字的解释,越全越好 初二数学题,求大神回答一本书的出版成本包括固定成本和变动成本2部分一本书的出版成本包括固定成本和变动成本2部分,稿费+排版费 是固定的 而印刷费+纸张费 一印刷的书的数量成正比例 当年明月在哪儿写的书 为什么会产生癌细胞 谁知道怎么样能把固定成本转化为变动成本 当年明月还在写别的书?当年明月现在有没有写别的书? 每个内角都相等的n边形中,每个外角等于内角的5分之2,则n= 投票的投的意思【 】 投入战斗的投【 】 投篮的投【 】 赤壁赋中的“以”的解释举匏樽以相属的“以”,挟飞仙以遨游的“以”,则天地曾不能以一瞬的“以”。 名词解释:雄辩术原理 怎样投篮 当年明月写过哪些书?除了《明朝>, 器械术的名词解释? 百度燃战吧的投票有什么意义?赢了会怎么样?百度贴吧燃战吧一直在pk人物的人气……所以就想问一句……这个投票有什么意义?赢了又会怎么样? 求关于《赤壁赋》中的解释赤壁赋中“盖将其变者而观之,则天地曾不能以一瞬;自其不变者而观之,则物与我皆无尽也.”这一句话具体怎么解释啊? 作者是如何举例论证治水必躬亲的?结合课文内容分析! 什么叫数学驳论?介绍一下相关知识! 普朗克 量子理论的发表时间 简述基因突变的主要特点. cereal是不是冲的麦片? 赤壁赋的解释 第二段论证了什么问题第二段论述了什么问题? 麦片用英语怎么说? 普朗克量子理论认为:物体在发射和吸收辐射时,能量是( )变化的.(2 分)A.连续B.以一定数值的整数倍跳跃式C.无规则D.不 A:____?B:I went to the park yesterday .2 A:____?B:We read books last Tuesday.A:____?B:I went to Hainan by plane.(I went by plane.)A:____?B:I am going to plant trees this weekend.A:What did Chen Jie do last weekend ( 去划船)B:____. cereal 是什么麦片?用自己的话说 不要复制字典 4.中国队主动出击日军规模最大的一次战役是____5.中国人民反对帝国主义侵略第一次取得完全胜利的是____6.中共共产党第一任党的总书记是___7.中国工农红军第一支坚强的队伍是___8.黄埔军校 正方形的边长和周长成什么比例?我的答案:它不成比例.理由:正方形的边长周长,表面上看它是成正比例的,因为C:d=4,但是,注意看,它并没有说在同一个圆内,说明有可能是□A的边长与□B的 燕麦圈的英文怎么说? 自定范围:中外古代环保工程或环保思想,只需截取一个角度或一段历史即可(如春秋战国时期的自然观)形式:手抄报或电子展板.电子展板?.什么东东 求英文高手翻译《盗梦空间》这段文字,感谢! when the mind is at its most vulnerable. Cobb's rarewhen the mind is at its most vulnerable. Cobb's rare ability has made him a coveted player in this treacherous new world of corporate espi 用牛奶冲麦片 英语怎么说? 铁原子核里有两个质子相距4.0×10^(-15)M,求他们之间的静电力 如何快速长卵毛 you most work ( h ) at english根据句意及首字母提示,完成句子 俗语“不分青红皂白”中的“皂”是什么意思? at most 电负性的周期性是什么 以我不想开头,写一篇作文 卵毛有什么作用? 请问各位高手,如下一道生物题该选何答案,请附上详细的解析.下列细胞具有分裂能力的是:( )A 根尖成熟区细胞 B 人的皮肤角质层细胞C 癌细胞 D 高度分化的细胞 《墨子 公输》中墨子劝说最终能取得成功的关键措施是什么········ 怎么才能让男人卵毛长的快点啊长了几年了怎么才这么点啊.怎么回事.怎么变多点啊、、自卑死了.刮了不是没了. 求《治水必躬亲》中以、而、于的用法,以及这三个字的所有用法,并附上例句(七年级学过的)万分感谢! 静电力是指引力还是斥力?如果一个题目问,求两物体之间的静电力,那是不是得分别求引力和斥力? 卵毛会不会变白 治水必躬亲论述了什么的道理? 公输中墨子成功劝说的原因是什么? 捐肾牵良缘 悲剧变喜剧四条眼镜蛇盘绕 “守护”婴儿午睡印度高官建议用阉割强奸犯方法遏制强奸世行营商环境排名遭质疑公务报销作假引发公众愤慨 加拿大政府奥巴马考虑停止窃听盟国领导人泰国前总理阿披实被控谋杀英国报纸窃听丑闻开庭审理普京称苏联共青团不仅是政治还是友谊和美主持人就\"杀光中国人\"言论道歉美国承诺停止监听盟国美媒:光有“屌丝”与“土豪”社会无法港媒:防范儿童性侵别忘了农村蒙古总统到参谒朝鲜锦绣山太阳宫法学家徐显明履新中央政法委 原任山东帅气男子微信诈骗 三个姑娘心甘情愿掏18岁高中生转塘突发意外生命垂危 警富阳女子车停小区内被砸 物业被判赔两三人结伙开越野车偷大轮胎余杭被抓瑞安5岁男孩被陌生男子挥砍3刀 尚未杭州一处小区五只大老鼠钻进配电箱致停北京天文馆推出《UFO与外星人》寒假生活“在路上”如何开展有效的书法教育“蛮拼的”铁路人社区文化中心的“惑”与“活”在直面问题中改进作风(回音)基层干部咋过年(岁末年初探作风)人民日报:2015两会十大看点孔学堂春节文化庙会热闹不断春节长假最后一天50.91万人进京 北京春节烟花爆竹皮同比减少33% 放马爬犁上的全家福王琳娜:80后也能接好“036”的班济南迎春花灯会“钢轨医生”“上下若”贫困村变成轿车村新春中的贾寨镇菜农景生启:控“龙”有术的重载司机微信“朋友圈”里的家国天下杭州男子春节发26万元红包称冠全国
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘