说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

大数据研究与发展专题论坛:大数据在各领域中的应用及发展策略

HTML文档下载 WORD文档下载 PDF文档下载
在2013BDTC“大数据研究与发展”专题论坛上,来自中国科学院、交通银行、伊利诺伊大学、西北工业大学、新加坡管理大学、华东师范大学软件学院的多位演讲嘉宾针对大数据在各领域中的应用及发展策略展来了深入探讨。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

12月6日下午举行的“大数据研究与发展”专题论坛上,华东师范大学云计算与大数据研究中心主任周傲英担任论坛主席,中国科学院院士、数学与系统科学研究院研究员陆汝钤,交通银行软件开发中心副总经理刘雷,伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰,西北工业大学计算机学院教授李战怀,新加坡管理大学信息系统学院助理教授朱飞达,华东师范大学软件学院副教授周敏奇多位演讲嘉宾针对大数据在各领域中的应用及发展策略展开了深入探讨。


周傲英担任论坛主席,对演讲嘉宾及演讲内容进行概要介绍

中国科学院院士、数学与系统科学研究院研究员陆汝钤:超大规模知识工程

中国科学院院士、中科院数学与系统科学研究院研究员陆汝钤在主题为《超大规模知识工程》的演讲中重点回顾了知识工程的发展历程,并对未来发展进行了展望。


中国科学院院士、中科院数学与系统科学研究院研究员 陆汝钤

1968年,第一个专家系统“启发式DENDRAL”问世,预示着第一代知识工程,即中小规模知识工程的开始。1978年,第一个国产专家系统问世,知识工程从此进入中国。第一代知识工程为社会带来了显著的经济效益,但专家系统知识的局限性,使其只能很好地解决具体问题,离开特定领域后则显得无能为力。

第二代知识工程(大规模知识工程)从1980年开始,代表性技术为海量知识库,数量级达百万,如1984年Doug Lenat开发的Cyc大型知识库。作为人工智能的补充,人们在知识的获取与组织上,开始逐渐采用软件工程思想。而这也进一步导致了知识内容一致性问题、知识的独立商品化问题及知识开发的“群众路线”问题。

2000年,知识工程进入超大规模阶段,即第三代知识工程。这一阶段,因特网、万维网、搜索引擎和浏览器兴起,整个搜索网页数达到数十/百亿,使因特网成为知识获取的主要来源。正如知识工程挽救人工智能颓势一样,网上知识工程成为主要生长点,但浏览器提供给人们的海量网页,从本质上是无法利用的,需要用户从中查找、整理所需的知识。

第四代知识工程,又名极大规模知识工程,是人们对未来知识工程发展的展望。该阶段的知识量级将达T级,浏览器将集浏览、挖掘、编辑、出版一体化,同时每个人都可拥有自己的因特网,知识可以像空气一样自动传播,知识服务将成为最重要的服务业。

交通银行软件开发中心副总经理刘雷:商业银行大数据应用的探索与实践

交通银行软件开发中心副总经理刘雷主要围绕大数据时代的机遇与挑战、大数据战略的实践与探索、大数据建设的展望与设想三个方面分享了商业银行在大数据应用上的探索与实践。


交通银行软件开发中心副总经理刘雷

随着银行业的迅猛发展,其正面临着来自内部及外部两方面的压力,内部压力主要有运营成本增加、人员规模增长、精细化管理及业务拓展;外部压力则表现为机器所产生的大量数据、社交网络对人际关系的改变及互联网金融的崛起。刘雷表示,银行在以前的大数据管理中存在诸多误区,如重数据应用,轻数据管控;认为实施大数据只是技术性工作;认为实施大数据战略就是建设数据仓库;必须有配套的组织机构建设。

这些压力反过来又对银行的发展带来新的启示,并催生出新的变革,其中包括思维变革、方法变革、数据管理。思维变革,强调数据的发展趋势与关联关系——不再依赖随机采样数据,着眼于更多数据;不再追求精确性,更强调混杂性;不再热衷于寻求因果关系,而是要从太阳底下的一切事物中汲取信息。方法变革,利用敏捷原则,以实现尽早、持续的数据探索和发现洞察力。数据采集、数据预处理、数据存储、数据分析、结果展现为数据管理中的五大关键点。

关于未来大数据的建设,刘雷表示数据平台未来应该更具开放性,但对于银行来说,安全和开放又相互矛盾,这是未来应该重点考虑的问题。另外,数据处理要更具实时性,即在交易过程中即可实时模拟,保证交易的安全性等。

伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰:大数据时代的隐私保护:挑战和机遇

伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰首先通过具体实例,分析了挖掘隐私信息的诸多方法,并介绍了两种比较传统的隐私保护模型及它们存在的局限性,同进重点阐述了学术圈认为目前最可靠的隐私保护新模型。


伊利诺伊大学新加坡高等数字科学中心研究科学家张振杰

第一种传统隐私保护模型为K-anonymity,它使用简单,但并未明确定义隐私概念及考虑攻击者所了解的背景信息,很容易被攻破。L-diversity,作为第二种传统隐私保护模型,与K-anonymity的最大区别是确保泛化后的敏感属性充分具有多样性。张振杰表示对攻击者的背景信息缺乏假设,从数据上来说缺乏描述,是K-anonymity及学术圈中另外100多种隐私保护模型普便存在的问题。

最后,张振杰认为在隐私安全得到保护的前提下,进一步获得大数据所带来的效益,可采用增加Laplace噪音的方式。当Laplace噪音增加到一定程度时,可以增加隐私的安全性。

西北工业大学计算机学院教授李战怀:大数据背景下分布式系统的数据一致性策略

西北工业大学计算机学院教授李战怀在主题演讲中表示一致性是数据最关键的属性之一。随着计算技术的发展,硬件基础及应用需求的变化给数据一致性的处理提出了新的需求。关系数据库建立之初就是为应对“大数据”的管理问题,特别是并发操作的数据一致性问题。而在分布式系统中的一致性,具有规模巨大、分布广泛的特点,其中副本成为处理大数据一致性的难题。


西北工业大学计算机学院教授李战怀

处理数据一致性时常用的模型包含强一致性、弱一致性及最终一致性。其中BASE模型为倾向最终一致的模型。可使用的一致性控制技术及策略有本地(集中)并发控制、分布式并发控制及NWR策略等。李战怀对一致性理论与相关技术进行了总结。

关于分布式系统的一致性选择方面,李战怀重点强调了CAP和PACELC原理。PACELC是对CAP的反思与补充。他指出系统设计的时候需要进行各式各样的权衡,这并不是一个简单的CAP或者PACELC就能够解决的,需要按需决策。不同领域对不一致性的容忍程度是不同的,容忍程度是系统设计时需要重点考量的因素。有很多场景甚至也可以用优雅的外部方式处理不一致性带来的问题(与领域相关并需要领域知识)。

最后,他总结数据处理系统对一致性的需求始终存在。大数据背景下一致性存在多种选择,不同的应用场景适用不同的一致性,没有最好只有最适合;企业级应用对于强一致性的需要将长期存在;未来甚至可以会出现混合一致性(多种一致性共存,甚至存在于一个应用中)。

新加坡管理大学信息系统学院助理教授朱飞达:社交媒体大数据挖掘及智能商业应用

新加坡管理大学信息系统学院助理教授朱飞达在演讲中通过分析社交媒体数据与企业所收集到的数据间的差异性,强调了社交媒体数据在设计商业应用过程中所起到的重要作用。社交媒体帮助商业应用最终要达到的目标应为,对的时间对的地点给对的人推荐对的服务。


新加坡管理大学信息系统学院助理教授朱飞达

然而在利用这些社交媒体数据时,又将面临四大挑战,即用户线上与线下行为如何打通;如何把用户在不同社交媒体上的帐号连接起来——这项工作很有意义,同样难度也很大;其次则为实时响应及数据可用性。应对这些挑战,最好的解决办法是对用户行为进行研究,用户行为数据是社交媒体所独有的。

在演讲最后,朱飞达还介绍了目前在社交媒体数据方面所做的工作。其中一个项目为“Offline Relationship Mining”,意在从社交媒体中找到用户线下真实世界中的朋友。另一个项目专注于把用户在不同社交媒体上的帐号连接起来,以期获得用户完整的信息,该项目将于明年发表。最后一个项目则是通过用户集群行为,寻找到社交网络中的营销帐号及垃圾帐号。

华东师范大学软件学院副教授周敏奇:CLIAIMS——集群感知的内存计算系统 

华东师范大学软件学院副教授周敏奇分享了过去一年半时间开发CLAIMS(CLuster-Aware In-Memory System for high performance data analysis)的历程和感受。为什么开发这样的系统?他表示当前很多企业需要实时性分析系统,而现在计算机硬件的发展已使实时分析成为可能。内存集群计算是应用需求和硬件发展的必然趋势,但通讯墙问题却成为阻碍内存集群计算发展的主要瓶颈。开发CLAIMS主要是为了解决内存通讯墙的问题。


华东师范大学软件学院副教授周敏奇

CLAIMS主要面向OLAP型应用(类似Teradata),以处理关系数据库为主,可扩展到非结构化数据,采用按列存储数据,意在解决通讯墙问题。CLAISMS系统在实时处理数据分析方面已获得较高性能。目前,CLAISMS的系统主体开发已经完成。计划2014年4、5月份开源CLAISMS的首个版本。

更多精彩内容,请关注直播专题2013中国大数据技术大会(BDTC)  ,新浪微博@CSDN云计算。 

提升网站知名度的十大方法 IBM移动平台首席架构师Greg Truty:MobileFirst从底层架构开始 Hallo.js:一款所见即所得的Web编辑器 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径 移动周报:百度收购91,19亿美金背后的博弈 植物大战僵尸2:“免费+内付费”模式引发争论 [CTO俱乐部第103期] 高德和四维图新技术高管谈地图导航的发展与挑战 Java 7爆最新漏洞,10年前的攻击手法仍有效 Twitter联合创始人Biz Stone谈Facebook用户体验 提倡零广告 英雄会:企业的人才漏斗 开发者的武林大会 一次错误估算带来的启示 苹果开发者中心被黑:开发者信息或被窃取 SIM卡加密存漏洞 将影响数亿计的手机用户 搜狗茹立云:探索引擎产品落地 浏览器+搜索模式会成主流吗? 大势所趋,IBM Acme Air至少使用Netflix的5个开源工具 【观察】跨越“朦胧期”的云计算:产业、核心技术、生态圈以及突破点 Rovio Account:平台化之路修成正果 甲骨文总裁马克•赫德采访实录:用软硬件集成一体机打垮对手 如何一步一步打造高可扩展性的应用程序? 用Java编程,请保持简洁! 从安全隐患带来的商机来看,Hadoop同样很美 三年增四倍:如今谷歌服务占北美互联网流量四分之一 决战低功耗?Intel明年推低功耗Xeon处理器 在软件架构上增加新功能的注意事项 90后的代码界“女神”李雪:在编程中找到自己的“灵魂” 大数据之路不乏荆棘,然则其中的机遇却高于一切 iPhone销量令人意外:苹果Q3财季净利69亿美元 同比下滑 励志:12位早起的IT大佬们让小伙伴们都惊呆了 独家:苹果5周年限免神作,BADLAND开发者访谈 10亿次订阅!苹果Podcast的里程碑 免费利器Unity 4.2正式发布 支持WP8、Win8和BB10 字符输入老是重复怎么回事 请问谁用C++编写过MP3的程序? 请问各位高手,给小弟介绍几个比较好的计算机图书的网站吧。 Access 2000不识别{ts '2001-06-21 21:14:01.890000'}中的.890000,如何解决? 如何得到webbrower控件下载消息?(比如下载*.zip文件) 难题一条 MTS怎么只能生成*.pak 和*.dll,却不能生成Clients子目录及在客户端安装的*.exe COM组件安装! PB 的新问题,有性趣请进!!!! 新手,键值问题 这样的问题没人会????? 大家帮忙看个程序 ACCESS数据库的小问题。 怎样使自己的问题成为热点问题的绝招! 关于c++builder中scanline的应用 跨数据库查询,请教各位高手! 这样的问题也没人会????????????????? 如何使用QuickRep制作简单报表?不牵涉任何DataSet的 关于Transaction的问题 请问 ListCtrl Item里的 Checkbox 被点击时对应的消息是什么? 100分~~100分~~高分求购。。。我也‘倾家荡产求购优秀系统分析案例’(paste from yyzh)。。。100分~~ 全中文的用Rose做的实际项目的UML模型! 救命!!我的机器不能下载东西了,怎么回事?? 求教邮件编程问题,邮件客户端如何实现“在服务器端保留备份的功能“? ciscoworks 各位大哥大虾,VC下如何用ADO连SQL SERVER?(急) ShellExecute和CreateProcess有什么区别? 关于海量数据、最有效率的排序、硬盘缓冲与映射、专业数据库的讨论 如何用VB编启动是可以带参数的程序呢?(例如:我自定义了一种文件,双击用我的程序打开,程序自动会打开这个文档 昨天我过生日,今天分蛋糕给大家 请问哪有《java图形设计2Swing篇》可以下? 我要用一个数据库去实时访问另一个据库,我该怎么办 URLghj1976@csdn.net----别吓我,有请您老人家! 谁给我介绍一下sql server7.0教材的比较好的下载网站,我给他20分。 我都急死了,到搜索引擎里搜到的好几个站点都不能用,到底哪儿可以当到3DMAX? 谁有写的比较好的邮件收发程序? 一个微软证书的私钥问题 微软证书的私钥问题 求助,简单问题 男人最快乐的十个瞬间! solaris下装oracle8.1.6遇到jre环境问题 怎抹加分?我准备给别人加40分,可我最多只能加20,请问另外20分怎末加分,为此我可能已得罪了一些人了。 请教下载的问题 如何在运行时动态修改Quick Report的打印机设置? 怎样做一个接受拽拖的LISTBOS(例如,把资源管理器里的文件拖到上面,就自动增加一项 ,就是拖的文件名) 怎样才能隐藏在ctrl+atl+del中进程列表中的项目啊 用C写DLL 请问:airhorse(编程至尊宝),infopower3000的注册码可以用于商业目的吗? 结构化异常处理 linux下如何配置内置Mondem? red hat linux7.0下安装oracle8.1.6遇到问题 (2-根号3)的2013次方乘(2+根号3)的2014次方是多少?这种题怎么算? 试求代数式2x的平方+x-3的最小值,并求出当x取何值时,该代数式取到最小值, 已知x-1=根号3,求代数式(x+1)^2-4(x+1)+4的值 (7-5根号2)的2013次方乘(-7-5根号2)的2014次方 利用配方发求:当X取何事,代数式2X^2-4X+6有最小值,是多少?代数式有最大值吗?为什么? 已知x=根号2-1,求代数式x/x-2÷(2+x-4/2-x)的值 (根号3+根号2)的2013次方×(根号3-根号2)的2014次方 代数式2X的平方-4X+1的最小值为多少 当X=2-根号3时,求代数式(7+4根号3)X^2+(2+根号3)X+根号3的值? (2倍根号2-3)的2013次方×(2倍根号2+3)的2014次方 说明代数式2x的平方-4x-1总大于x的平方-2x-4. 当x=根号3,求代数式(x-1)(2X-根号3)-x(2x-1)的值 |根号3-2|+2013的零方-(-三分之一)的负一次方 +3tan30°带上过程! 代数式根号下(X^2+4)+根号下[(12-X)^2+9]的最小值. 若x的平方+2x+1+根号(y+1)=0,则代数式根号(x-y)的平方的值是? 简化√x^4+x^2y^2(x≤0)也就是根号x的四次方+x的二次方*y的二次方,且x小于等于0 代数式根号(x平方+4)+根号[(12-x)平方+9]的最小值为多少?这个题目是刚开学初三的老师布置的~ 若y=√x-3-√6-3x+√(-2)^2,求代数式x-2分之y+三次根号(2x+y)的值. 根号a的三次方等于多少?根号2y分之x三次方等于多少?(y<0) 代数式根号下【(x-1)平方+1】+根号下【(x-2)平方+9】的最小值 当x=1+根号3时,求代数式(x^2-1)(x+1)/x^2-x÷(1 +x^2+1/2x)+x的值 已知根号(2x-y)的平方=1,立方根(x-2y)的三次方= 1根据算数平方根的意义,由根号(2x-y)2=1,得(2x-y)2=1,得2x-y=1 ①根据立方根的定义,立方根(x-2y)³= -1,得x-2y= 1 ② 由①+②,得3x+3y=2,解得x-y=2/3以 给出代数式根号下[(X+1)的平方+1]+根号下[(x-3)的平方+4]的几何意义,并求它的最小值 已知根号X加根号X分之一=3,求代数式X分之X平方+1 已知根号(2x-y)的平方=1,立方根(x-2y)的三次方= 1 求x-y的值根据算数平方根的意义,由根号(2x-y)2=1,得(2x-y)2=1,得2x-y=1 ①根据立方根的定义,立方根(x-2y)³= -1,得x-2y= 1 ② 由①+②,得3x+ 代数式根号x+根号(x-1)+根号(x-2)的最小值是 若代数式x-1分之根号x有意义,则实数x的取值范围是如题 代数式根号x2+4+根号(12-x)2+9的最小值清楚一点 求证:代数式根号X+根号X—1+根号X—2 的最小值为根号2+1? 若代数式3次根号下x分之1在实数范围内有意义,则x的取值范围为—— 当X取正实数时,求代数式(根号下X^+4)+(根号下(X-12)^+9)的最小值 若x,y都是实数,且满足y>根号(1/2-x)+根号(x-1/2)+1,化简代数式1-x分之根号(x-1)的平方-(y-1)分之根号y平方-2+1. 若代数式根号x-3有意义,则实数x的取值范围是如题. 求代数式(根号下X^2+1)+(根号下(4-X)^2+4)的最小值 若实数X,Y满足Y=根号下2X-1+(根号下1-2X)加三分之一求代数式X平方-2XY+Y平方 求使代数式根号1-x+根号1-2x分之1+2+x分之1有意义的条件 代数式√(x^2+4)+√(x^2-24x+153)的最小值 √=根号RT听老师说要数形结合,具体怎么做忘记了 另外百度知道也有人提这个问题 但是答案是错的,我记得答案是个整数的 所以没必要复制了 已知实数x、y满足|2x-y+1|+3根号3x-2y+4=0,求代数式[(x-y)/(x-2y)]/(x的平方-2y)/[(x的平方-y的平方)/x的已知实数x、y满足|2x-y+1|+3根号3x-2y+4=0,求代数式[(x-y)/(x-2y)]/(x的平方-2y)/[(x的平方-y的平方)/(x的 当x=根号2013-1时,求代数式x的平方+2x+2的值 代数式根号2x-1分之x有意义的x取值范围是 若实数x,y满足y=根号2x-1+根号1-2x+1/3,求代数式x^2-2xy+y^2的值回答的能否详细些 已知代数式x的平方+y的平方+2根号2x-4y+根号42,这个代数式是否存在最大值或最小值 使代数式根号2x-1分之1有意义.则x的取值范围? 已知实数x满足根号x^2-2x-8+|x^2-5x+4|=0,求代数式根号x/1-x*根号x^2-1的值 已知x=(根号5-1)/2,求代数式x³+2x²-1的值 使代数式根号2x-1/(3-x)有意义的x的取值范围是 二次根式:当x=根号5-1时,求代数式x^2+5x-6的值.当x=根号5-1时,求代数式x^2+5x-6的值. 已知mn是方程x²+2√2+1=0的两根,则代数式根号下(m² +n²+3mn)的值为为什么答案不能得-3根号9不等于±3吗 若y=根号x-1+根号1-x,则x的2013次方+y的2012次方=? 代数式2x²-4x+6有最小值当x取何值,2x²-4x+6最小值是多少顺片教我一下怎么求 已知x=1/(2-根号3).求代数式根号(x的平方-8x+16)/(x的平方-5x+4)的值 若根号x+1+(y-2013)的根号=0则x的y次方=? 试说明代数式-2x平方+4x-18有最小值,并求出这个最大值,此时x为多少? 已知2倍根号2x-根号6=根号2x+2倍根号2,求代数式(7-4倍根号3)x05+(2-根号3)x+根3的值 若根号x+1+(y-2013)的根号=0则x的y次方=多少 当X取何值时,代数式2X平方减4X加6有最小值.为什么, 问一道题;已知x=2008-5称根号3求代数式x的平方-1/x方-2x=1÷【1=x=1/x-3】的值 (根号3-2)的2013次方·(根号3+2)的2014次方(根号3-2)的2013次方·(根号3+2)的2014次方 当X取何值时,代数式X的平方+2X+3取最小值,并求出最小值 已知X=根号2,则代数式x/(x-1)的值为多少
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn