说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

Hadoop YARN的发展史与详细解析

HTML文档下载 WORD文档下载 PDF文档下载
Apache Hadoop于2005年推出,提供了核心的MapReduce处理引擎来支持大规模数据工作负载的分布式处理。7年后的今天,Hadoop正在经历着一次彻底检查,不仅支持MapReduce,还支持其他分布式处理模型。

【编者按】成熟、通用让Hadoop深得大数据玩家喜爱,即使是在YARN出现之前,在流处理框架林立下,Hadoop仍然被众多机构广泛运用在离线处理之上。借鉴于Mesos,MapReduce获得新生,YARN提供了更加优秀的资源管理器,让Storm等流处理框架同样可以运行在Hadoop集群之上;但是别忘记,Hadoop有着远比Mesos成熟的社区。从兴起到唱衰再到兴起,这头搬运大数据的大象已更加成熟、稳重,同时我们也相信,在未来container等属性加入后,Hadoop生态系统必将发扬光大。

以下为文章内容

带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架,Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富多样的应用程序生态系统,包括 Apache Pig(一种强大的脚本语言)和 Apache Hive(一个具有类似 SQL 界面的数据仓库解决方案)。

不幸的是,这个生态系统构建于一种编程模式之上,无法解决大数据中的所有问题。MapReduce 提供了一种特定的编程模型,尽管已通过 Pig 和 Hive 等工具得到了简化,但它不是大数据的灵丹妙药。我们首先介绍一下 MapReduce 2.0 (MRv2) — 或 Yet Another Resource Negotiator (YARN) — 并快速回顾一下 YARN 之前的 Hadoop 架构。

Hadoop 和 MRv1 简单介绍

Hadoop 集群可从单一节点(其中所有 Hadoop 实体都在同一个节点上运行)扩展到数千个节点(其中的功能分散在各个节点之间,以增加并行处理活动)。图 1 演示了一个 Hadoop 集群的高级组件。


图 1. Hadoop 集群架构的简单演示

一个 Hadoop 集群可分解为两个抽象实体:MapReduce 引擎和分布式文件系统。MapReduce 引擎能够在整个集群上执行 Map 和 Reduce 任务并报告结果,其中分布式文件系统提供了一种存储模式,可跨节点复制数据以进行处理。Hadoop 分布式文件系统 (HDFS) 通过定义来支持大型文件(其中每个文件通常为 64 MB 的倍数)。

当一个客户端向一个 Hadoop 集群发出一个请求时,此请求由 JobTracker 管理。JobTracker 与 NameNode 联合将工作分发到离它所处理的数据尽可能近的位置。NameNode 是文件系统的主系统,提供元数据服务来执行数据分发和复制。JobTracker 将 Map 和 Reduce 任务安排到一个或多个 TaskTracker 上的可用插槽中。TaskTracker 与 DataNode(分布式文件系统)一起对来自 DataNode 的数据执行 Map 和 Reduce 任务。当 Map 和 Reduce 任务完成时,TaskTracker 会告知 JobTracker,后者确定所有任务何时完成并最终告知客户作业已完成。

从 图 1 中可以看到,MRv1 实现了一个相对简单的集群管理器来执行 MapReduce 处理。MRv1 提供了一种分层的集群管理模式,其中大数据作业以单个 Map 和 Reduce 任务的形式渗入一个集群,并最后聚合成作业来报告给用户。但这种简单性有一些隐秘,不过也不是很隐秘的问题。

MRv1 的缺陷

apReduce 的第一个版本既有优点也有缺点。MRv1 是目前使用的标准的大数据处理系统。但是,这种架构存在不足,主要表现在大型集群上。当集群包含的节点超过 4,000 个时(其中每个节点可能是多核的),就会表现出一定的不可预测性。其中一个最大的问题是级联故障,由于要尝试复制数据和重载活动的节点,所以一个故障会通过网络泛洪形式导致整个集群严重恶化。

但 MRv1 的最大问题是多租户。随着集群规模的增加,一种可取的方式是为这些集群采用各种不同的模型。MRv1 的节点专用于 Hadoop,所以可以改变它们的用途以用于其他应用程序和工作负载。当大数据和 Hadoop 成为云部署中一个更重要的使用模型时,这种能力也会增强,因为它允许在服务器上对 Hadoop 进行物理化,而无需虚拟化且不会增加管理、计算和输入/输出开销。

我们现在看看 YARN 的新架构,看看它如何支持 MRv2 和其他使用不同处理模型的应用程序。


YARN (MRv2) 简介

为了实现一个 Hadoop 集群的集群共享、可伸缩性和可靠性。设计人员采用了一种分层的集群框架方法。具体来讲,特定于 MapReduce 的功能已替换为一组新的守护程序,将该框架向新的处理模型开放。

回想一下,由于限制了扩展以及网络开销所导致的某些故障模式,MRv1 JobTracker 和 TaskTracker 方法曾是一个重要的缺陷。这些守护程序也是 MapReduce 处理模型所独有的。为了消除这一限制,JobTracker 和 TaskTracker 已从 YARN 中删除,取而代之的是一组对应用程序不可知的新守护程序。


图 2. YARN 的新架构

YARN 分层结构的本质是 ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager 将各个资源部分(计算、内存、带宽等)精心安排给基础 NodeManager(YARN 的每节点代理)。ResourceManager 还与 ApplicationMaster 一起分配资源,与 NodeManager 一起启动和监视它们的基础应用程序。在此上下文中,ApplicationMaster 承担了以前的 TaskTracker 的一些角色,ResourceManager 承担了 JobTracker 的角色。

ApplicationMaster 管理一个在 YARN 内运行的应用程序的每个实例。ApplicationMaster 负责协调来自 ResourceManager 的资源,并通过 NodeManager 监视容器的执行和资源使用(CPU、内存等的资源分配)。请注意,尽管目前的资源更加传统(CPU 核心、内存),但未来会带来基于手头任务的新资源类型(比如图形处理单元或专用处理设备)。从 YARN 角度讲,ApplicationMaster 是用户代码,因此存在潜在的安全问题。YARN 假设 ApplicationMaster 存在错误或者甚至是恶意的,因此将它们当作无特权的代码对待。

NodeManager 管理一个 YARN 集群中的每个节点。NodeManager 提供针对集群中每个节点的服务,从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1 通过插槽管理 Map 和 Reduce 任务的执行,而 NodeManager 管理抽象容器,这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN 继续使用 HDFS 层。它的主要 NameNode 用于元数据服务,而 DataNode 用于分散在一个集群中的复制存储服务。

要使用一个 YARN 集群,首先需要来自包含一个应用程序的客户的请求。ResourceManager 协商一个容器的必要资源,启动一个 ApplicationMaster 来表示已提交的应用程序。通过使用一个资源请求协议,ApplicationMaster 协商每个节点上供应用程序使用的资源容器。执行应用程序时,ApplicationMaster 监视容器直到完成。当应用程序完成时,ApplicationMaster 从 ResourceManager 注销其容器,执行周期就完成了。

通过这些讨论,应该明确的一点是,旧的 Hadoop 架构受到了 JobTracker 的高度约束,JobTracker 负责整个集群的资源管理和作业调度。新的 YARN 架构打破了这种模型,允许一个新 ResourceManager 管理跨应用程序的资源使用,ApplicationMaster 负责管理作业的执行。这一更改消除了一处瓶颈,还改善了将 Hadoop 集群扩展到比以前大得多的配置的能力。此外,不同于传统的 MapReduce,YARN 允许使用 Message Passing Interface 等标准通信模式,同时执行各种不同的编程模型,包括图形处理、迭代式处理、机器学习和一般集群计算。


您需要知道的事

随着 YARN 的出现,您不再受到更简单的 MapReduce 开发模式约束,而是可以创建更复杂的分布式应用程序。实际上,您可以将 MapReduce 模型视为 YARN 架构可运行的一些应用程序中的其中一个,只是为自定义开发公开了基础框架的更多功能。这种能力非常强大,因为 YARN 的使用模型几乎没有限制,不再需要与一个集群上可能存在的其他更复杂的分布式应用程序框架相隔离,就像 MRv1 一样。甚至可以说,随着 YARN 变得更加健全,它有能力取代其他一些分布式处理框架,从而完全消除了专用于其他框架的资源开销,同时还简化了整个系统。

为了演示 YARN 相对于 MRv1 的效率提升,可考虑蛮力测试旧版本的 LAN Manager Hash 的并行问题,这是旧版 Windows® 用于密码散列运算的典型方法。在此场景中,MapReduce 方法没有多大意义,因为 Mapping/Reducing 阶段涉及到太多开销。相反,更合理的方法是抽象化作业分配,以便每个容器拥有密码搜索空间的一部分,在其之上进行枚举,并通知您是否找到了正确的密码。这里的重点是,密码将通过一个函数来动态确定(这确实有点棘手),而不需要将所有可能性映射到一个数据结构中,这就使得 MapReduce 风格显得不必要且不实用。

归结而言,MRv1 框架下的问题仅是需要一个关联数组,而且这些问题有专门朝大数据操作方向演变的倾向。但是,问题一定不会永远仅局限于此范式中,因为您现在可以更为简单地将它们抽象化,编写自定义客户端、应用程序主程序,以及符合任何您想要的设计的应用程序。


开发 YARN 应用程序

使用 YARN 提供的强大的新功能和在 Hadoop 之上构建自定义应用程序框架的能力,您还会面临新的复杂性。为 YARN 构建应用程序,比在 YARN 之前的 Hadoop 之上构建传统 MapReduce 应用程序要复杂得多,因为您需要开发一个 ApplicationMaster,这就是在客户端请求到达时启动的 ResourceManager。ApplicationMaster 有多种需求,包括实现一些需要的协议来与 ResourceManager 通信(用于请求资源)和 NodeManager(用于分配容器)。对于现有的 MapReduce 用户,MapReduce ApplicationMaster 可最大限度地减少所需的任何新工作,从而使部署 MapReduce 作业所需的工作量与 YARN 之前的 Hadoop 类似。

在许多情况下,YARN 中一个应用程序的生命周期类似于 MRv1 应用程序。YARN 在一个集群中分配许多资源,执行处理,公开用于监视应用程序进度的接触点,且最终在应用程序完成时释放资源并执行一般清理。这个生命周期的一种样板实现可在一个名为 Kitten 的项目中获得(参见 参考资料)。Kitten 是一组工具和代码,可简化 YARN 中的应用程序开发,从而使您能够将精力集中在应用程序的逻辑上,并在最初忽略协商和处理 YARN 集群中各种实体的局限性的细节。但是,如果希望更深入地研究,Kitten 提供了一组服务,可用于处理与其他集群实体(比如 ResourceManager)的交互。Kitten 提供了自己的 ApplicationMaster,很适用,但仅作为一个示例提供。Kitten 大量使用了 Lua 脚本作为其配置服务。


下一步计划

尽管 Hadoop 继续在大数据市场中发展,但它已开始了一场演变,以解决有待定义的大规模数据工作负载。YARN 仍然在积极发展且可能不适合生产环境,但 YARN 相对传统的 MapReduce 而言提供了重要优势。它允许开发 MapReduce 之外的新分布式应用程序,允许它们彼此同时共存于同一个集群中。YARN 构建于当前 Hadoop 集群的现有元素之上,但也改进了 JobTracker 等元素,可以提高可伸缩性和增强许多不同应用程序共享集群的能力。YARN 很快会来到您近旁的 Hadoop 集群中,带来它的全新功能和新复杂性。


参考资料

学习

  • 有关 Hadoop 及其生态系统中其他元素的最新新闻,请查阅  Apache Hadoop 项目站点。除了 Hadoop,您还将了解到 Hadoop 是如何(借助 YARN 等新技术)横向扩展以及(借助 Pig、Hive 等众多新技术)纵向升级的。
  • 随着 YARN 不断成熟,您会了解到使用 YARN 模型编写应用程序的早期方法。一个有用的参考资料是  编写 YARN 应用程序。您将在这篇参考资料中发现 YARN 引入的一些新复杂性,以及对于在一种 YARN 部署中用于实体间通信的各种协议的讨论。
  • 使用 Apache 的  Distributed Shell Source。
  • 查看来自  Big Data University 的关于众多主题的免费课程,包括 Hadoop 基础和文本分析精要,以及 SQL Access for Hadoop 和实时流计算。
  • Apache Hadoop 0.23 中的 MRv2,这是对一个 JARN 集群的重要技术细节的不错介绍。
  • Kitten: For Developers Who Like Playing with YARN 提供了对 YARN 应用程序开发的 Hitten 抽象的有用介绍。
  • 在  developerWorks 大数据内容专区 中了解有关大数据的更多信息。查找技术文档、指南文章、教育、下载、产品信息等。

原文链接: 将 Hadoop YARN 发扬广大 (责编/仲浩)

    Go 1.2发布 着重语言特性的改进 微软资深IE专家邹颂兵:好产品才是竞争的关键 Web应用程序完全测试指南 Python正在取代R,成为数据科学界新宠 代号Threshold:微软将推Windows统一平台Threshold 日本任天堂掌机应用:《卢浮宫》革了谁的命? [TUP第31期]《浪潮之巅》吴军:硅谷3.0助力中国企业走向国际 SequoiaDB创始人:比MongoDB领先一到两年 打造企业级NoSQL数据库 [对话CTO]甲骨文熊光樑:全球研发模式开发出接地气产品 GitHub中国游记之长城——跨越那堵看不见的墙 IE11开发人员工具:UI响应工具详解 2013 Linux领域年终盘点 腾讯云俱乐部深圳站成功落幕 开创移动开发新篇章 解读云计算、大数据、物联网等九大IT技术发展趋势 苹果已证实收购Topsy或将涉足社交领域 触摸未来:Tactus微流体技术2014年来袭 Windows的未来:一个核心 多个版本 Github项目中使用率最高的Java/Ruby/JS库 2013中国大数据技术大会盛大开幕 从黑色星期五找到的六个规则 帮助网站转化 移动开发者的自学宝典:十大在线编程学习网站 MIT新技术:远程触摸和操纵实物 创新人机交互 中国移动研究院业务支撑研究所所长孙少陵:大数据实时处理技术发展趋势及中国移动实践和展望 “第一届中国大数据技术创新与创业大赛”主办方发言及创新分赛颁奖 中国移动研究院业务支撑研究所所长孙少陵:大会及与会嘉宾介绍 中国工程院院士、大数据专家委员会主任李国杰:能挖掘出价值的数据就是好数据 阿里飞天平台总架构师唐洪:飞天开放平台 百度大数据首席架构师林仕鼎:新计算时代 金山发布全系列IaaS平台 Google无人驾驶汽车与机器人组合,秒杀无人机 Google欲推新Chrome应用:适用于Android、iOS平台 一个有趣的问题,请大家看一个小程序,来者有分。 这个写者优先是不是有问题????麻烦看一下,小弟实在看不出错在哪里 请问有没有办法得到[系统托盘]上其它程序的所显示的Icon?? 已知,十六进制(34.6)16=(28.75)10(十进制) 高手推荐几个Palm开发的网站?最好有源代码! 请教一个问题 触发器(加密)内容可以查看吗 怪,文件路径绝对正确,EXE文件不能下载,其它格式正常。 在编写的用户控件中公开所引用控件的事件怎么实现啊 这是我的usb口的问题吗? 考程序员前想先考全国三级,请问三级种哪个科目考C编程?何时报名? 调用DLL时候出现Bad Dll calling convention错误,为什么?代码如下 如何建立一个小数据库? 我想问下,网络技术到底是指什么??? 为什么会出现这个问题呢??急救??? 在不同操作系统出现不能正常运行的问题,和默认字体语系乱码问题 C# 静态类成员 新手请求各位前辈帮助 如何查询我连接到哪个数据库? 哭着请求帮助。。。。。页面显示问题!!在线等着 网络技术到底是指什么???? 我想在<<三国九>>里输入正确的中文,有法子么? 能帮我改改么? 紧急求助,请高手支招 请问在JTABLE中如何将某几行设置成可以被选择的,其他几行设置成不能被选中的? 请问怎样修改SDI框架的标题及去掉最大化按钮??? 在自定义的用户控件上公开引用windows控件的事件怎么做啊!!谢谢 2003中为什么IDE设备只能用PIO模式? 在FAQ里见到这样一句,不明白什么意思 怎么我用vc 的 odbc 做数据库时,工程名为try ,在工程工作区的“class view”面板里没有tryview类的? 不能使用xmldocfile() 文档对象的问题 关于键盘纪录,高手 如何使用IPAddress控件? 初学者问:怎么用UpdateAllViews()? 无法创建asp.net应用程序 大家帮帮我吧,我都快崩溃了 中文乱码的问题 !!谁在VMWare 3.2里装过RedHat 9.0和RedFlag 3.0,请看看这些问题(100分)!! 如何使在输入框选中的文字在提交后仍然显示在输入框中? 无法创建asp.net应用程序 高手在上,请问怎么样在win2k中实现关闭程序和绘图[内详] 初学者问:如何在listview中查找其中一行? 怎样在调试窗口中看到变量值? 郁闷中,狂散分。。。。。。 DCOM怎么使用? 想做一个地区门户一般要包含那些栏目?? 线程 怎么能让DELPHI编出来的程序最小化以后进入到系统托盘? C++问题,请进来帮忙! help me ~!!! 一个长方形的长是10cm,宽是8cm,高是3cm,把它切成两个完全一样的小长方体.它的表面积最多增加多少?最少增加多少? 食堂有一堆煤烧去一部分后还剩三分之1,还剩9分之2吨.这堆煤原有多少吨? 孩子身高1.65,做个书桌多高合适?一直用的写字台,所以喜欢大桌子,最好报个长宽高. 建一个高2米宽10米长24米的彩钢房需多少钱?直筒子的 食堂有一堆煤,烧了几天后,余下的5/8,和其余5 /2吨的.这堆煤多少吨? 为什么现在萤火虫越来越少?小时候夏天夜晚,萤火虫满天飞,现在都看不见了,连农村也很少见 声速是由传递声音的物质决定的这句话对吗? 一根质量为0.4kg长为0.20m的直导线,水平放在一个倾角为30度的光滑斜面上,一均匀磁场方向垂直于斜面向...一根质量为0.4kg长为0.20m的直导线,水平放在一个倾角为30度的光滑斜面上,一均匀磁场方 现在为什么看不到萤火虫了? 设P为等边△ABC内一点,PA=3,PB=4,PC=5,则∠APB的度数为( ) 什么是生冷的东西 如图所示,物快A重10n,B重20n,AB间的动摩擦因数为0·1如图所示,设A重10N,B重20N,A、B间的动摩擦因数为0.1,B与地面的动摩擦因数为0.2 问:1.至少对B向左施多大的力,才能使A、B发生相对滑动?2.若A、B 在三角形ABC中,AB=AC=6,P是BC上任意一点,求PC*PB+PA*PA的值(提示:利用勾股定理)不要用三角函数,就用勾股定理! 12.如图9所示,某工地工人用固定在水平工作台上的卷扬机(其内部有电动机提供动力)提升水中的物体,其提升速度始终为1.5m/s.物体未露出水面前,被匀速提升时,卷扬机对绳子的拉力为F1,卷 圆的周长是怎样得来的 细胞呼吸中的[H] 怎么读 如图所示,某工地用固定在水平工作台上的卷扬机(其内部由电动机提供动力)提升水中的物体,其输出功率始终为1500w,物体未露出水面前,以1.5m/s的速度被匀速提升,卷扬机对绳子的拉力为F1,卷 A重10N B重20N F=4N 同时作用在AB两个物体上,是它们在平面C上同步做匀速直线运动如图所示:物体A重10N,B重20N.两个相同的力F=4N,同时作用在A、B两个物体上,使它们在平面C上同步做匀速直线运动 在音标里I(I两旁有中括号)怎么读?在一组音标里I在前面拼什么?在后面拼什么?在中间呢 如图所示,劲度系数为k=10N/m的弹簧下面挂着质量分别为m1=0.5kg和m2=0.3kg的两个物体……如图所示,劲度系数为k=10N/m的弹簧下面挂着质量分别为m1=0.5kg和m2=0.3kg的两个物体,开始时它们都处 A重10N,B重20N,AB间、B与地面间摩擦因数等于0.5,欲使B匀速拉出,F至少要多大? breathe怎么读 已知a为实数,f(x)=(x平方-4)*(x-a),若f'(-1)=0,求f(x)在中括号-4到4上的最大值和最小值 萤火虫是什么变的 如图所示,在水平向右运动的小车上,有一倾角为α=53°的光滑斜面,质量为m=2kg的小球被平行于斜面的细绳系住并静止在斜面上,当小车加速度发生变化时,为使球相对于车仍保持静止,则:(1)小 不用计算圆的周长公式,有什么办法能求圆的周长 桌面上有AB两球,若要将B射向桌面任意一边,使一次反弹后击中A球,则如图所示8个点中,可以瞄准得点有几个 如题,因为我要家教所以想知道进度. 圆的周长的公式时我们用什么方法? 在倾角为30度的光滑斜面上放一质量M=2KG的物体A由轻绳与质量为M的物体B相连A和B都处于静止状态求B的质量 牛顿的“微粒说”和爱因斯坦的 “光子说”的区别 圆的周长除了用公式还有什么方法 船在静水中,两大人分别用F1=400N.F2=360N的力拉船,为使小船在河中间沿与河岸平行的方向前进,一个小孩用一最小的拉力帮忙,求小孩施力的大小和方向.(sin37°=0.6) 牛顿的微粒说和爱因斯坦的光子说本质相同么 指导圆的周长的公式时我们用什么方法 有人知道具体无线电测试仪产品认证的意思 为什么说爱因斯坦的"光子"与牛顿的"微粒"是不同的? 有助于回答者给出准确的答案重100N的球用水平绳拉住处于静止状态 光滑斜面倾角为37度,求绳对球的拉力和球对斜面的压力 由两根绳子拉着小船匀速航行,若F1,F2的夹角为120,且F1=F2,则船所受的阻力F,F1,F2有怎样的关系 忌食生冷食物是什么意思 用滑轮组将200kg的物体匀速提升12m用时1min,如图所示不计绳重及摩擦,绳自由端的拉力为550N.求:(1),绳自由端拉力移动的速度是多大?(2),动滑轮重多大?这是图片 已知F1=10N,F1与F2的合力大小为10更号下3牛,合力与F1的夹角为30度,求F2的大小和方向 一重W的匀质圆球,用软绳及光滑斜面支持,如图,已知角α及β,求绳子所受拉力及斜面上所受压力的大小 如图所示的撬棍,当作用力P以哪个方向最省力,并说明下原因,(我不太懂)A 作用力垂直向下 B作用力水平向右C 作用力垂直撬棍 D作用力水平向左http://hi.baidu.com/%B7%C5%CB%C9%B5%C4%CA%C0%BD%E7/album/item 一个圆形钟面的半径是15厘米,它的面积是多少平方米? 一个长方体长24cm,把它锯成每段是8cm的小段后,表面积增加了16平方厘米,求原来这个长方体的体积. My brother likes music that he can dance 静电放电的电磁兼容试验有没有相关标准? 消防水带规格10-65-20,10,65, he likes music that;s () ( energy)适当形式 200米等高线上大的某点,同200米的深线的点的相对高度是...A.200mB.300mC.400mD.600m 有衬里消防水带的有多长,口径有多少厘米? 导线的绝缘皮是否有耐腐蚀功能 清朝历代皇帝谥号是什么?例如,咸丰(显)皇帝,谥协天翊运执中垂谟懋德振武圣孝渊恭端仁宽敏显皇帝 函数y=1/(x+3) 的间断点是? 第二题怎么做,答案加解释 用细绳悬挂一个质量为m的物体,对于下类情况中绳子受到拉力F1的大小应是( ) A.当细绳拉着物体向上匀速上升时,F1>mg,F1越大.B.当细绳拉着物体像下匀速下降时,F1 为什么曲线运动所受合外力有可能是恒力有没有例子说一下 谢谢了 如图,12N重的小球放在倾角为30°的光滑斜面上,且处于平衡状态.此拉绳恰为水平方向.则绳受到的拉力为多少,斜面受到的压力为多少? 我有一个朋友,身高170,体重50kg,不是体育生,他在今年的校运会100米和200米项目上都跑过了所有的体育生,成绩分别为11.62和24.69,我想问一下他这样算好吗?(运动会前他说他在家里用哑铃和做俯 克里首访政变后埃及 美将继续与埃政府震惊! 镜头揭秘世界各地女人的惊天差法国两名记者在马里被害 法士兵运送遗一游船在泰国芭提雅附近沉船6死 包括人民币升值,钱却为何越来越不值钱格鲁吉亚知名钢琴家将访华巡演iOS 7缩放导致晕眩的原因:速度堪中共三中全会改革方案令人期待孙杨开豪车载年轻女子与公交相撞 系无国资改革方案或尽快出台 国企分类监管前3季度物流运行稳中向好 四大瓶颈亟宁波警方便衣蹲点 打掉跨省假发票大案机构预测10月CPI同比涨3.3% 非制造业PMI创新高 有望延续趋稳向郑州皇家一号涉黄被查 号称“中原第一国资委:地方国企效益下滑 仍盲目铺摊亚裔模特因人体彩绘爆红全球 海量性感奥巴马参加弗吉尼亚州长造势演讲 表情美秘密打造人类最快飞机 导弹将无法拦陈毅之子:反思文革是必要的 但不赞成郑州“皇家一号”夜总会涉黄被查 15李春莹:知兵爱兵暖兵心时刻准备为祖国和人民效力呼市公安特警训练使用特种车解聘医生真相尤待彻查“土夫子”爆破盗掘春秋王室古墓张勇:壮美青春戍边行社区警务室当上“官办中介”福建首支县级特警大队成立私款也不能进歌厅是防微杜渐道口警察人鲜知佛山一环收费已获得批准 本地车免费外许小东:侠骨丹心守海角通航水域建筑物未设航标最高罚20万蔡伟肖:带兵自有“真经”在行政首长出庭应诉别顾忌面子图说世象肖占超:因情施教见功力朱宏兵:悠悠兵心情常在评估风险确保安全云浮村居将全建志愿消防队开放公共资源政府大院免费停车
    备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘