说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

百度大数据首席架构师林仕鼎:新计算时代

HTML文档下载 WORD文档下载 PDF文档下载
2013中国大数据技术大会上,百度大数据首席架构师林仕鼎从大数据系统架构师的角度,分享了应用驱动、软件定义的数据中心计算。林仕鼎认为大数据需要新的硬件体系结构,整个数据中心是一台计算机,软硬件协同创新。

【CSDN现场报道】中国最具影响、规模最大的大数据领域盛会——2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop生态系统与流式计算,实时计算与NoSQL、NewSQL等技术方向,还对互联网、金融、电信、交通、医疗等创新案例,大数据资源的法律法规、大数据商业利用的政策管制等有深入讨论。

百度大数据首席架构师林仕鼎从一个大数据系统架构师的角度,分享了应用驱动、软件定义的数据中心计算。大数据的两个典型应用是面向用户的服务和搜索引擎,主要特点是:第一,数据处理技术比面向用户服务的技术所占比重更大;第二,数据规模比以前大很多;第三,通过快速迭代进行创新。随着对大数据系统更深层次的理解,林仕鼎认为大数据需要新的硬件体系结构,整个数据中心是一台计算机,软硬件协同创新。


百度大数据首席架构师 林仕鼎

以下为演讲实录:

百度的大数据系统有两个典型的应用:

第一是面向用户的服务,主要包括logic、cache、data这样的技术,绝大多数应用通常放在MySql、Nosql里面。这种应用的特点是每次用户查询来的时候我可能对于这个logic要求比较好,这个好处就是一个PC并不需要访问很多的数据。用户可能会有一些突发性的增长,就是尖峰的到来使这个系统压力变得更大。

还有一种典型应用是搜索引擎,通常来说它有几部分。我们希望从网络中爬那个数据,爬下来之后放在大的网页库里面,对网页库进行挖掘和分析,把那些作弊的网页去掉,找到每一个页面全值对它进行监控,进大排表。这里有几个不一样的地方,用户查询来的时候会访问大排表,但是每一次的访问对大排表的数据基本上每台机器都要访问到,另外后面处理是不间断的进行的,我们要把网页更新抓下来放到网页库分析。到中间有一个大的存储,逐渐又要发展成更实时的结构,我们希望借助更新的变化可以更快反馈到用户这边来,比如说谷歌做的系统就是这样的。

这两类应用都有一些特点:首先,越来越多的Workload转向离线数据处理。百度开始就是后台处理机器比用户服务机器多的公司。我们关注怎么帮助用户存储UTC,怎么让他访问UTC,不一定跟钱有关系的交易,客户逻辑这些工作。我们慢慢过渡到做大量的数据处理,数据处理从大规模越来越做得复杂、实时。

其次,随着我们对整个业界和数据越来越重视,每个公司的数据量都在增加,这是我们新应用的特点。今天我们数据量大概是1000PB,每天我们处理100PB以上的数据,网页数量接近一万亿章,中文加其他语言的页面,每天我们响应请求数量也是在百亿的数量级。我们这种请求跟普通用户的PV不一样的,因为每一次的查询是后面的这些机器,放到大排表的机器都需要访问一遍,每天产生一个TB的日志,这样的数据量大家可以看到会比一般公司高一到两个量级。

第三个应用的特点就是整个互联网的服务是以迭代式的方式开发的。很多时候我们做功能并不能一开始就做好,我要通过不断的实验去找出来哪一种做法是好的,而这种实验越来越多需要在线上完成,我们利用一小部分用户让他去做实验。比方说我们有两种算法A和B,我不知道哪个好,从线下调研下都很难知道哪个好,还有我们界面的改版只有让用户评价才知道哪个是好的。我们把大量的离线分析和在线实验结合起来,在线需要很多数据,通过大量线下数据进行处理才能生成,这个速度又非常重要,怎么把用户在线产生的数据更快速跟线下数据结合,再推到线上来。这个带来了很多问题,比如说发现同样一种功能其实在线上跑好几个版本的,我怎么对多版本程序逻辑管理,怎么为他们分配资源,怎么给导流,分配数据都是一个大问题。

比如说搜索引擎的迭代,我们看基本的网页库存储以外,我们需要有一个平台,根据网页库要分析的数据我们做特征的训练。在用户去做查询的时候我们可能分配不同小的用户去做CN,这个CN里面有不同的策略和算法,很多时候需要全量的数据,你做一个实验需要有全量大排表的数据,这个实验要根据结果做很快的分析。对于普通面向用户的产品实际上也需要做不断的迭代,我们从一个产品的想法到它的原型,然后变成系统到产品你可以做做运维,做运营的过程你要根据用户使用去做更快速的调整,这里面每个步骤要有大量技术支持.从想法开始,你可能需要一些数据分析验证你的想法,不一定说你非要做这个产品出来,你可以在事前验证究竟是不是靠谱。PM可能需要你的主意,你要怎么做,用最快的方式把原型拿出来,我们就可以使这个产品更快把功能确定下来,然后测试,这是典型的互联网产品所需要迭代的过程。

对于这样的一些问题,数据中心运用的模式是这样的,云计算、大规模存储,我们都做了很多系统。然后有大规模的计算,现在基于实时数据的分析和处理。我们有虚拟机可以支持多租户的环境,使得以前的应用可以更频繁的迁移过来。我们还做了App Engine,整体来说我们做这些功能是要解决Scalability的问题,但是这个是不是够我们可以看一下。大家可能不仅仅做了这些,像我们做了很多的存储,一开始的时候我们给每一个都做一套系统,随着系统越来越大之后我们发现很多问题是共性的,存储系统跟你数据组织和接口无关的这些技术我们需要处理。所以我们开始去整合这些系统,就重新设计一套这个系统希望说用一套系统支持不同数据的结构,好几个接口。这是我们统一的系统,然后我们构建一个数据结构,希望用内存加速这种实时的数据处理。这样的话我们去平衡应用需要大流量,高并发看起来比较矛盾的需求,通过一些技术组合去实现矛盾的需求。同时我们也去做数据访问,把数据不仅存下来而且传输也是统一的。在计算方面我们做了混合式的计算,从批量到增量到更实时的处理引擎。我们做了这么多,是不是够呢?这里又个有问题:

第一个问题就是所有的快速交付在向底下基础设施要需求的时候,你要让我快速把业务拿到,让我部署上去把业务运行起来。最好就是说我提出这个需求的时候我马上拿到这个资源。对于一个业务来说还好办,但是对于底下的基础设施来说你需要的需求不一样的,有时候需要硬盘大的等多样性的需求和快速交付有一个天然的矛盾问题。怎么解决这个矛盾的?首先说我们要改变传统的预算模式。我们还是业务线提这个预算,我们需要做这个审核,每年有几次的预算审核,如果大家有过几十万台大数据中心,你发现每年预算这个复杂性基本上是不可承受的工作。而且每个预算提出来的时候,他希望我最好拿到我需要的资源,但是这是不可能实现的事情。因为需求的越多样就意味着说你每个量PC就越少,就是越需要定制,越不能交付。提供交付能力我们改变这个运算模式,由按需预算改成定期扩容。我们做over provisioning,利用系统冗余资源满足业务突发需求和多样性的需求。你提前准备好这种资源一定是确定的,来自业务线的需求是不确定的。我们怎么能够做到这点,你要做provisioning你必须是标准化的需求。对于上面应用来说最重要能力就是做快速迭代,它拿到资源以后可以利用上去去做实验,去升级它的版本。但是我们怎么使这个迭代做的更快,除了我们现在提供的这些功能之外,实际上还需要很多很多东西,一个我们需要有更好的资源调度,需要有平台帮你处理容错和扩容的问题。这个实际上很难,我们做了很久,整个业界也做了很久,实际上这个还是很难做到的。我们下面有一个平台,上面的业务还是要做处理,需要把模块之间关系曝露给你,需要把数据提取出来,前面需要逻辑的部分是无状态的,这时候我才能在错误出现的时候做调度,流量变大的时候做扩容,但是这个意味着你这个结构需要重构,而且底下的系统需要有更好的错误监测和调度的能力。对于应用来说你需要有更好的部署能力,这个部署能力在大规模的系统里面,实际上也是一个很复杂的事情。我们典型的在线服务可能是几百个上千个模块在里头。我们做部署的时候你发现我们部署一个系统,它有很多的模块间的依赖关系,每个模块有好多个版本,要做多版本的迭代,这时候业务要存一个多版本的数量。怎么由系统帮助你维护服务之间的拓扑关系,这是需要解决的问题。我们有了一套环境之后你可能要扩建多个环境出来。

第二个问题:我们分发可能经历灰度过程从5%到10%到90%到100%,这个过程中间需要处理,这个业界很少做这个研究的。资源首先应该是弹性的,基站位网络还有机器,这是真正可以弹性扩张的。下面你快速迭代,服务运营的需求,对这种服务运营的需求你同样也需要支持这种弹性扩张。我们说到系统的弹性,它应该每个上面都有这种端到端统一做交付,由这些能力加起来才是真正弹性的平台。根据多年关于Elasticity的经验,你没有一个更好的预算模型,更好的硬件系统架构的话,是一个很大的瓶颈。当你把资源问题解决掉,功能解决掉,对上面的业务来说实际上最典型要处理的问题就是它需要做快速的迭代,做快速的版本升级,这里面需要有很多环境的支持。然后做运营的时候有大量收集数据和分析数据的需求,这些都应该集成到我们整体的平台上去才行,只有把这些做起来才是真正弹性的平台。我们为了解决这个问题,我们需要什么东西?我们考虑这个数据中心体系是什么?你本身基础设施怎么升级做到标准化,在标准化下满足应用多样性的需求。我们需要把那些资源都给出来,现在的机器一个一个节点都是CPU、内存、硬盘、SID,我们有那么多台机器插入的时候,整个基站和数据中心是单位,我们还可以把那些资源拿出来,CPU、内存、硬盘都拿出来,拿出来以后我们有很多的灵活性,我们就可以重新构造成一台一台的机器。这个有点像是说我们需要定义数据中心的体系,这个体系对于单机来说更像是原体系机构,我们配置这些原体系机构变成一台一台机构的体系结构。

另外我们在这个上面需要OS,可以帮助我们做资源的调度、更好的部署整个发布的管理,这是整个OS需要的功能。disaggregation我们把每一个节点里面CPU和电源拿出来放在后面去,下一步可能把网络拿出来放到后面去,这是无物理机的方式,这个不会改变整个系统的disaggregation。下面我们会做一件事情就是把里面机器节点直接联系起来,现在有这样一些技术可以使它们联系起来。一些机器可以访问另一台机器的某一个设备。再一下我们彻底的把它们重组起来,我们通过disaggregation出来,然后就可以形成一台一台需要的机器。这样我们可以在标准化系统交互的标准下满足应用多样化的需求。

我们需要有机器的管理,这个上面我们可以帮助做部署和发布,这时候应用的架构需要做变化,我们需要每一个应用里面服务依赖关系抽出来由系统管理,这个我们叫PIS的服务。然后一些应用可能服务加大,有一些它的数据,这个数据同样要列出来在前期管理,我们对应用做迁移和扩容的时候是无状态的也可以,很容易扩容。对应用的多个版本我们同样需要做软件包的管理,把它所依赖软件的环境都抽离出来由系统统一管理,这样我们可以构建出多种多样的环境出来,多个版本的环境出来。上面还要构建一些兼容系统,这个系统本身运行也会产生大量数据,我们对这些数据分析可以帮助我们指导系统的优化。这个我们已经做了一些工作,我们对磁盘做了大量的改进,现在可以把磁盘误报的错误率降低80%。在这个基础上还可以做机器CPU内存使用情况,网络通信情况,模块和模块之间通信的情况,我们把数据收集起来可以做分析,异常的检测,把异常的检测和错误事件解决连接起来,这样可以发现这个系统存在的问题防止一些错误的发生。

第三个问题,我们今天所说的大数据不仅是规模大,更重要是其他的特点。第一个我们需要有大规模的数据管理和处理能力。第二个特性是多样的,数据从多个来源来的,它的形态不一样的,我们需要有多模态的管理能力,我们需要管理视频,管理视频的特征,还有图片语音的特征,而且能够对它特征进行更好的分析查询的服务。我们需要具有关联分析能力,数据从多个来源来的时候,一定把多个来源的数据放再一块分析才可以发掘你要的东西出来。另外一个数据是不断的变化的,我们除了具有大规模数据处理能力之外还需要有智能的数据挖掘算法。

多媒体的分析、NOP、广告这些,中间是数据处理和管理包括大规模数据仓库和平台,后面是技术架构,软件架构包,实时的数据计算以及硬件的基础设施。这个基础之上我们可以把一个完整的大数据系统构建出来,比如说对于大规模的数据通过分布式的存储和计算引入进来。我们初步处理以后可以灌到机器学习算法里面去,通过引擎把消费者连接起来。让人标注可以帮助到我们的学习,现在所谓众包就是这个概念,有这样的系统之后我们可以支持评估、推荐、智能交通这样一些APP。对于实时的存储和计算我们除了做那些功能,我们还需要把完整的体系构建出来。我们需要有分布式的结构,你要做实时的分析数据一定要放在内存里面,你把数据放在内存应该在上面直接构建分布式数据处理。

我们发现说我们做了这么久软件上的架构还是不够的,很多问题还是解决不了,比如说我们做一个迭代,大家知道它是PSP的模型,所有的节点都需要你装满数据,这个基本上系统的瓶颈都在最后的交互数据上。这些东西除了我们软件做很多模型,更重要我们需要有新的硬件体系机构支持它。包括Power-efficent,还有以数据的移动和处理为中心,新的存储、通信、计算架构,异构化,同时还引入ARM、GPU、FPGA等技术。

我们现在做新的CRAY,这个CRAY机器里面有很多线。今天有了更多的数据以后我们还是要回到以数据交互为中心,而且这个需要跟其它服务共享基础设施,才可能成为真正的大规模系统,提高内聚性、配件池、标准化交付,满足应用层的差异性需求。以软件接口的方式隐藏异构性。现在我们做的事情就是新的软硬件一体的集成方案,包括应用驱动、软件定义、实现全系统的集成。这里想给硬件公司提几个建议:一个是硬件应该尽量简化。赢家呢可控制性、剥离控制逻辑应放在更重要的位置,硬件应尽可能多地收集数据,包括历史统计、当前状态,并通过数据分析去做更多的优化和智能。谢谢大家!

更多精彩内容,请关注直播专题2013中国大数据技术大会(BDTC)  ,新浪微博@CSDN云计算

VB制作TopMost窗口 VB制作带有动画和声音的屏幕保护程序 VB制作自己的MP3播放器 用VB实现鼠标的隐藏 0、""(空字串)、Null、Empty、与 Nothing 的区别 -VB资料 VB中获取逻辑磁盘的信息 Command & Conquer 文件格式-VB资料 CrystaIReports for VB5报表编程经验 DirectX揭密-VB资料 HOOKS 说明书-VB资料 kb_event函数的使用 -VB资料 MaskEdit 中 9 的问题 -VB资料 MDB文件的导出(使用DAO)-VB资料 PaintPicture的和法 -VB资料 Shell & Wait 的程序怎么写? -VB资料 SHELL语句用法心得-VB资料 VarPtr、StrPtr和ObjPtr函数的用法-VB资料 VB 在ACADWIN中的使用 VB5.0应用程序的启动与退出设计 VB5如何取得CDROM的盘符? VB5三十六计 VB5中确定CPU类型 Vb6.0编程技巧四则 VB6二进制双通道技术实战经典 VB6内置的内码转换功能 VB编程步步高-代码效率篇(一) VB编程步步高-杂类篇(二) VB编程步步高-杂类篇(一) VB编程的必备技巧 VB编程的一些心得 VB编程技巧几例 能否用java applet做出一个后台数据库系统?哪有例子? 请教各位大虾删除某条记录的问题(100分啊) SQLSERVER 2000狂慢(只在本机上,或者说是本机的sqlserver程序狂慢),求建议和经验? ORACLE 数据库安装的初始密码是什么?立即送分.....呵.. servlet中直接连接mysql 特急!!!谁有Intel Pro\100 VE Connetion 网卡for SCO的驱动???在线等待 如何在虚拟目录下运成servlet生成的class文件 有没有调用winamp皮肤的例子或者控件? 怎么用PHP实现定时备份呀,帮帮忙吧 一般程序中常用的"撤消","重作"两种功能是怎么实现的?内在机制是什么呢? 如何打印位图? 问一个简单的问题,在redhat9下面,你们怎么样用QQ?gcc3.2? 能帮忙看一下这个10行的TBitmap小程序吗? 有几种方法可以给一个CRichEditView加垂直滚动条? VC.NET 是否能够做win2k系统下I/O卡的drive? 如何屏蔽win2000下的ctrl+alt+del啊? 关于sygate设置? c语言中如何连接SQL SEVER 2000数据库?急!!! 急!为什么我的邮件服务器这两天突然收不到外部邮件? 关于Weblogic的配置 关于WEB SERVER的问题 哪有稳定点的免费留言本?我申请了几个了,都出了问题。在线等,测试好用,立即给分!谢谢了! 学生考这个ocp值得吗?好像考的人都是上班的。大家给点建议! 兄弟们,帮帮忙!遇到点麻烦(在线) crystal中怎样对子报表中的字段进行总计 怎样将做好的程序打包? LINUX与XP与SERVER2000的问题 如何清空代理。 高手请进:我的页面的js脚本像抽风一样,有时能正确执行,有时有不行!!!! 谁能帮我看下代码错在哪里? 主  题: 她是我一辈子的天使 大家看到了,水园就是这么黑暗 delphi中怎样用插件的,在线等。 *****如何根据数据字段值的不同,显示不同的字符?***** ★★★★招老公★★★★ 我得罪谁了我!!!!!!!!!!! 关于DataGrid的问题(50分相送) 怎么显视FORM里的FRAM????? 关于js加载xml文件的问题!! php网页里可否执行可执行文件? 为什么 帖子提前太频繁了!!! 问题还未得到解决?????? 请教高手(有关global.asa) C++中的初始化链表赋值的问题 我用JAVA来开发数据库,选用什么编译器 我发现水园的人很喜欢搞群殴呀,怕怕.. 不知道是否有方法使得mshflexgrid的内容存为assess文件 如何在切分窗口中的视图引入其OnInitialupdate()函数 如何 实现 下载 任何类型文档 (exe \ doc \ ....) 请问SI,DI的区别? 大家快来看一下,这是mfc bug吗? 如何把一本书做成pdf,或是其他的可识别的即可。不能是图片 I'm putting on my shirt.(改为第一人称复数)为什么不是We're putting on our shirt.(我们穿上我们的衬衫) 而是We're putting my shirt.(我们穿上我的衬衫)翻译过来的意思太怪了吧 如何用Origin设置不均匀的横坐标刻度如图所示,最好能详细一点,有大神帮帮忙吗? 怎么捕捉光? 英语翻译stereotypes are simplified ideas,and often changes in negative way,that one group of people holds about another. putting on a show中文翻译 Origin中如何将坐标轴的刻度设置的不均匀 怎么预习英语? Oh,I'm (come),I (put)on my shirt origin 怎么画尺度不一样双坐标轴我知道可以用plot->special line /symbol->Double -Y来画双坐标轴,但是由于我的数据一个y轴为10到100,一个为200-1000,用这种方法画出来一个图形就会很靠下,我想让这两 社会调查法的名词解释 是in a shirt还是on a shirt我见过in a shirt但又有一种是this shirt looks nice on you到底穿衣服怎么用,是on还是in? 世界各国阅兵式 哪国最奇葩? 4.8级的螺栓(M12*40)能承受多大的力? 塑料片材为什么会出现麻点? 世界哪国阅兵式最恢宏 内力影响对外作用效果吗? 并说明意义? 世界上阅兵式中有哪些国家有鹅式步伐 用于聚合物驱油的聚合物有哪些 请问相机拍照有麻点是什么原因啊!我的相机是佳能的,前一段时间发现拍出来的照片有麻点.我想问下是什么原因呢,还是相机设置的问题呢?我的相机是 CANON SD770IS的那款. 在代码中()是什么意思.为什么要用这个符号求高手解释本人什么都不懂.出初中学历.初中其实没好好学.现在想学C语言不知道难不难.但是我非常想学这个.学C语言需要什么打基础? 我想预习英语,怎么预习比较好我想在暑假预习一下下学期的英语,但不知道怎么预习比较好,希望大哥哥大姐姐们给予帮助.(小妹学初二上) 热浸锌过程中出现麻点是什么原因造成的? 这些符号是什么意思? “高浓聚合物驱油技术”的英文怎么写?我要写论文,需要知道“高浓聚合物驱油技术”的英文怎么写! 法国著名作家维克多 雨果将他的长篇小说寄给出版社后不久,又给出版社寄了一封信.信的全文是:----雨果"出版社的编辑马上给雨果回了信,写的是:----编辑室"不久,轰动文坛的巨著便问世了.你 Get it out of your system while we’re alone.老友记里第八季第三集monica对chandler说的话?请问这句Get it out of your system while we’re alone.老友记里第八季第三集monica对chandler说的话?请问这句话该怎么翻译 我想知道人类如何才可以达到光速?说说自己的看法即可, 琼脂糖凝胶电泳点样孔对电泳有影响吗我拔梳子时拔点样孔弄坏了有碎胶,这样会对结果有影响吗我用了之后跑出的条带距水平30度向下斜,我怀疑时孔的问题,还是我手法的问题? it would be interesting to know just what range of smells this system can detect and recreate 地理的外力作用和内力作用怎么区分 有哪为高手知道塑料中BOPS颗粒的熔体流动速率(MI)达到35 是什么概念啊? get it out of your system是什么意思 There's got to be a way of getting to the M-5.There's got to be a way!怎么翻译? 同时学过物理化学和化工热力学这两门课的同学有没有觉得这两门课很像? 计算定积分,四和六小题 高一地理:地形与外力作用 请问谁能帮我解释下e的含义?e就是那个自然对数的底数,它到底有哪些作用,用在哪些方面? 亲情作文 急`````````要初二水平的.关于亲情的作文.要真实一点啊.不要太假啊.急```````````````````有追加分啊~列提纲也行啊 水面初平云脚低变成成语是什么?特急,越快越好,第一个回答的maybe是最佳答案哦. 什么是E抗原?请重点解释一下“E”的含义 计算定积分第五小题 问:人类可能实现光速吗?问:另外的问题亚音速有多快【我要时速】 帮我解释下两个语法点~1.lively,alive的区别 要全的!然后相关的帮我说下这道题The football match was televised ( ) from the Shanghai Stadium.A.alive B.life C.live D.lively2.帮我看下这道题里的语法点Don't ask me to pr 计算定积分,第三小题 如何辨别铸造砂孔、渣孔、气孔、疏松、缩孔. 请挑战翻译I drifted in and out of sleep 2009观阅兵式有感要日记 不要太长的作文 200-300个字左右 一定要回答我呦! I'm going my way还是I'm going to my wayI'm going my way出自动画片《NANA》的一首曲子.这里怎么不加to啊.be going to是固定搭配吧,从语法上分析go是个不及物动词,接不了宾语.后面要接东西可以用不定式作 60国庆阅兵式向世界展示了什么要少而具体 计算下列不定积分第六小题 与我同行 GOING MY WAY怎么样 世界上最大的阅兵式 以收集阳光为话题的作文 I m going my way .I m going on my way .的区别I m going my way .I m going on my way .这两句话的区别 和 翻译 语法是正确的吗 中考时化学72物理94,平心而论这么简单的中考我才考成这样,初中时就在这两门勉勉强强.上了一所全市第二的重点高中,第一次月考两门都不及格.我认为初中时的一些问题我现在还没搞清楚,比 水浒练习题答案 origin8怎么给横坐标标名称这样一张表,按第一列对RPN和NRPN排序,但是希望横坐标显示的是第二列的名称,在origin8里面怎么做,求指导. 我的物理化学都不及格谁帮帮我啊?哪里的好啊? 这是一条数学定积分计算,第9小题, 伊朗死囚受绞刑后未死 司法部长称没必德国总统宣布默克尔现任政府解散 组阁菲总统称菲律宾政府不会就马尼拉人质事俄南部爆炸案致6人亡 女凶手原计划袭财经观察:供应充裕令纽约油价跌破百元印度妇女庆祝传统“女人节” 盛装为夫日本社会“无性症候群”盛行 恐加速人中美发起多国多地区\"天使行动\" 巴西油田竞标引发抗议 示威者与军警冲中国代表在联合国呼吁支持最不发达国家欧盟峰会三大议题考量复苏后劲新西兰外交部呼吁下功夫给予中国游客最被美军生擒基地头目健康良好 申请拖6英警方规定当街小便者需亲自打扫卫生或安倍7小时长会后品尝软柿子 满足称“伊朗死囚受绞刑未死 司法部长称没必要杭州十大赏秋处出榜 灵隐路杨公堤龙井英国乔治小王子受洗仪式23日举行 不日本男教师误会“性暗示” 当众露下体俄罗斯暴力恐怖事件频发 总统普京抨击日本拉平企业与政府薪资差距 全国公务台“立法院”空转议事 奈若何!2013年全国科普日活动开幕 皇明太“德国大选不会给经济政策带来太大改变青海撒拉之乡“红军小学”建成中国重庆经贸旅游推介会在德国杜塞尔多王祖贤再曝吃饭近照 身材苗条举止优雅福建一山村村民集体赴越南娶新娘 新娘“旅游法”实施 “十一”内地团访港或薄熙来案宣读判决要点(三)沪绿化局新举措 微信举报渣土乱倒最高贵州旅游招商引资推介会在澳门举行首届“最美崇明人”评选揭晓奉贤:海湾镇加强规划建设 提升社区商长宁公安分局破获网上销售假药案普陀区积极推进区域医疗联合体建设肯尼亚首都商场遭袭致39人死亡 国际广州森林公安火车上查获3100只野鸟肯尼亚首都商场交火事件袭击者仍挟持多全球同步加速器大决战:谁先造出最聚焦突尼斯女性赴叙进行“性圣战” 劳军后长宁:北新泾街道社区家庭欢乐庆中秋
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘