说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

支撑过万亿音乐事件的数据分析系统

HTML文档下载 WORD文档下载 PDF文档下载
横跨众多流行平台,Nex Big Sound需要在100多个数据源上收集数据,为了应对数据的不断变化,他们不得不像GitHub一样“版本化”,这里带大家一览其完全基于开源的分析平台。

【编者按】Nex Big Sound被称为唱片公司的仪表盘,从事乐队在社交网络上流行程度以及歌迷互动情况的衡量,曾于2012年初获得一笔650万美元的A轮融资。近日该公司的首席架构师Eric Czech在HighScalability上撰文讲述了音乐分析上的扩展性挑战,并分享了解决之道。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。


以下为译文:

当下,在线行为分析已并不罕见,但对整个音乐产业进行分析仍然不是一件容易的事情——你需要横跨Spotify、iTunes、YouTube、Facebook等众多流行平台进行相关跟踪,其中包括近5亿的音乐视频流、下载、艺术家页面上产生的大量likes(每日)等,这将给分析系统扩展性带来巨大的挑战。Next BigSound每天从100多个源中收集这些数据,进行分析,并通过基于网络的分析平台将这些信息提供给唱片公司、乐队经理及艺术家。

时至今日,类似Hadoop、HBase、Cassandra、MongoDB、RabbitMQ及MySQL这样的开源系统已在生产环境中得到了广泛应用,Next Big Sound正是基于开源构建,然而Next Big Sound的规模显然更大了一些——从超过100个源接收或收集数据。Eric团队首先面临的问题就是如何处理这些不停变化的数据源,最终他们不得不自主研发了一个存储系统,从根本上说是个可以“version”或者“branch”化从这些数据源上收集的数据,类似GitHub上的代码版本控制。Next Big Sound通过给Cloudera发布版增加逻辑层来实现这个需求,随后将这个层与Apache Pig、 HBase、Hive、HDFS等组件整合,形成一个在Hadoop集群上海量数据的版本控制框架。

作为 “Moneyball for Music”一员,Next Big Sound开始只是个运行在单服务器上的LAMP网站,为少量艺术家追踪MySpace上的播放记录,用以建立Billboard人气排行榜,以及收集Spotify上每首歌曲上产生的数据。随着数据以近指数级速度的增长,他们不得不选用了分布式系统。同时,为了跟踪来自公共及私有提供者的100多个数据源和不同性质音乐的分析处理,Next Big Sound需要比当下开源数据库更优秀的解决方案。

Next Big Sound一直保持着非常小的工程团队,使用开源技术搭建整个系统,采用过完全云架构(Slicehost)、混合云架构(Rackspace)、主机托管(Zcolo)等不同架构形式。

统计

  • 40个节点的Hadoop集群(150TB容量),约60个OpenStack虚拟机
  • 10TB的非重复、已压缩的数值型数据(6TB原始、4TB索引)
  • 10个工程师,总计22人
  • 5年的开发
  • 每天30万时间序列查询
  • 峰值期间每天400GB新数据
  • 记录百万艺术家超过万亿的事件,包括了YouTube音乐视频访问数、Twitter上转发和@艺术家的数量、iTunes购买数以及在线广播流。

平台

  • 托管:使用ZColo进行托管
  • 操作系统:虚拟和实体服务器都使用 Ubuntu 12.04 LTS
  • 虚拟化:OpenStack(2x Dell R720计算节点、96GB RAM、2x Intel 8-core CPU、5K SAS磁盘驱动器)
  • 服务器:Dell R420、 32GB RAM、4x 1TB 7.2K SATA数据磁盘, 2x Intel 4-core CPU
  • 部署:Jenkins
  • Hadoop: Cloudera (CDH 4.3.0)
  • 配置:Chef
  • 监视:Nagios、Ganglia、Statsd + Graphite、 Zenoss、 Cube、 Lipstick
  • 数据库:HBase、MySQL、MongoDB、Cassandra(正在逐步使用HBase替代)
  • 语言:数据收集和集成用PigLatin + Java、数据分析使用Python + R + SQL、PHP ( Codeigniter +  Slim)、JavaScript ( AngularJS +  Backbone.js +  D3)
  • 处理:Impala、Pig、Hive、 Oozie、 RStudio
  • 网络:Juniper(10Gig、冗余核心层W/自动故障转移、机架上配备1 Gig接入交换机)

存储架构

使用类似Cassandra及HBase这类分布式系统存储时间序列是很容易的,然而,随着数据和数据源的暴增,数据管理变得不再容易。传统情况下,整合从100+数据源中搜集数据的工作包含以下两个步骤:首先,在Hadoop ETL管道对原始数据进行处理(使用MapReduce应用、Pig或者Hive);其次,将结果存储到HBase以便后续Finagle/Thrift服务的检索。但是在Next Big Sound,情况有了些不同,所有存储在Hadoop/HBase中的数据通过一个特殊的版本控制系统维护,它支持ETL结果上的改动,允许根据需求来修改定义处理管道的代码。

在对Hadoop数据进行再计算时,使用“版本化”管理Hadoop数据提供了一个可恢复及版本化途径,扩展了许多数据处理周期技术(比如LinkedIn)。而Next Big Sound系统的区别在于可以配置版本化的等级,而不是必须在全局运行,举个例子:在记录一个艺术家某个地理区域上tweet转发次数的用例中,忽然发现在某个时间段内基于地理位置编码的逻辑是错误的,只需建立这个时间段的新数据集就可以了,从而避免了对整个数据集进行重建。不同的数据通过版本进行关联,也可以为某些用户指定所访问数据的版本,从而实现只有在数据精确时才对用户释放新的版本。类似这样的“Branching”数据可以应对数据源和客户需求的变化,同时也可以让数据管道更高效。更多详情查看下图(点击查看大图):


更多详情可查看Paper: HBlocks:A Hadoop Subsystem for Iterative Data Engineering .

Hadoop基础设施方面,同样面临了很多难题:1,跨整个音乐产业的社交网络和内容发布网站的实体关系映射;2,贯穿上千万数据集建立用于排序和搜索的Web应用;3,管理数百万API调用的信息以及网络爬虫。这些操作都产生了特定的需求,而在Next Big Sound,系统完全建立在开源技术之上,下面是一个概况图(点击查看大图):


数据显示

测量仪表盘一直都是个进行中的项目,这个工作大部分由用户需求主导。由于数据源太多,这里的长期目标是做灵活性和学习曲线之间的平衡;同时,由于新客户和特性的增加,维持一个连续的JavaScript/PHP代码库进行管理也变得愈加困难。Next Big Sound操作如下:

  • 开始使用简单的Codeigniter应用,尽可能的尝试添加Backbone,当下已战略性的转向Angular。
  • 使用Memcache缓存大型静态对象。
  • 度量数据的缓存和历史记录使用本地存储。
  • 使用D3做图,之前使用的是Rickshaw。
没有做功能标志,但是使用了自己的方法。如果某个代码库经常被重写,这点将非常重要,没有它,很多事情我们都完成不了。

FIND

投入大量精力做用户基于给定条件的数据集搜索,这个功能被定义为“FIND”项目的预览版本。类似股票筛选器,用户可以做类似的查询。比如:Rap艺术家,占YouTube视频播放数的30-40百分位,同时之前从未出现在任何流行排行榜上。这个功能主要依赖于MongoDB,在MapReduce作业提供了大量索引集的情况下,系统完全有能力以近实时速度完成数百万实体上的查询。

MongoDB在这个用例上表现的非常好,然而其中一直存在索引限制问题。Next Big Sound一直在挑战这个瓶颈,ElasticSearch得到了重点关注。

内部服务

产品使用了所有度量数据,API由1个内部Finagle服务支撑,从HBase和MySQL中读取数据。这个服务被分为多个层(同一个代码运行),关键、低延时层通常直接被产品使用,一个具备更高吞吐量、高延时的二级层则被用作编程客户端。后两个方向一般具有更多的突发性和不可知性,因此使用这样的分离层可以给客户交付更低的延时。这样的分层同样有利于为核心层建立更小的虚拟机,将Finagle剩余的服务器共至于Hadoop/HBase机器上。

Next Big Sound API

支撑Next Big Sound内外共同使用的主API已经过多次迭代,下面是一些重点建议:

  1. 不要建立一个只体现方法的API,建立一个模型化系统实体的API,使用HTTP(GET、PUT、POST、HEAD、PATCH、DELETE)处理这些实体行为,这样会让API更容易预测和实验。
  2. 对于依赖实体关系的方法,为主实体使用类似“字段”里的参数,让它提供重点关注的实体关系。在Next Big Sound,这就意味着API将提供一个带有“字段”参数的“艺术家”方法,如果这个字段被设置成“id、name”,那么将允许返回这个艺术家的姓名;如果将这个字段设置成“id、name、profiles、videos”,那么将允许返回艺术家在YouTube频道上的信息以及所有视频。读取实体之间的关系可能有很大的开销,这种方法可以适当的避免数据库查询,并抛弃一些丑陋的组合方法,比如“getArtistProfiles”或者“getArtistVideos”。
  3. 使用外部API来建立应用程序的好处已众所周知,但是在实践的过程中还发现一些比较隐晦的益处,比如给项目添加新Web工程师。Next Big Sound之前在API调用和JS代码之间添加了一些PHP代码,而现在则严格限制JavaScript和API之间的交互。这就意味着Web开发者可以专注于浏览器代码,而在使用Backbone及Angular框架后更是如虎添翼。

提醒和基准

在音乐的世界里随时都有事情发生,为了获得“有意义”的事情,Next Big Sound必须在所有平台建立基准数据(比如Facebook每天产生like的数量),并提醒客户。开始时也遇到过许多扩展性问题,但是在使用Pig/Hadoop做处理并将结果储存在MongoDB或MySQL后,事情简单了起来。Next Big Sound所做的工作就是发现趋势,那么给“有意义”设立临界值就变得至关重要,因此在做基准时必须使用尽可能多的数据,而不是只从某个数据上入手,与基准线的偏离量将代表了一切。

Billboard Charts

Next Big Sound被授权做两个Billboard杂志排行榜,一个是艺术家在线流行指数总排行,另一个是哪个艺术家可能会在未来排行榜上占据一席之地。这个功能并未造成任何扩展性问题,因为只是做所有艺术家得分的一个反向排行,但是制造一个无重复、有价值的列表显然需要考虑更多因素。非实名给系统带来了大量麻烦(比如Justin Bieber的Twitter用户名到底是"justinbieber"、"bieber"及"bieberofficial"中的哪一个),通常情况下,会采用机器和人工组合来解决这个问题。基于1个人名的选错会产生重大影响,手动完成则必不可少。随后发现,为在系统上增加这个“功能”,即让它记住类似的处理方法并有能力重现将变得非常有效,幸运的是,这个系统实现难度并不大。

预测Billboard得分

在哪个艺术家将会在下一个年度爆发的预测上曾开发了一个专利算法,这个过程应用了Stochastic Gradient Boosting技术,分析基于不同社交媒体成员的传播能力。在数学方面,实现难度比较大,因为许多使用的工具都非Hadoop友好实现,同时也发现Mahout表现非常一般。这里的处理过程包括输入数据集、通过MapReduce作业写入MongoDB或者是Impala,通过R-MongoDB或者R-Impala来兼容R,然后使用R的并行处理库在大型机上处理,比如multicore。让Hadoop承担大部分负载和大型机承担剩余负载带来了很多局限性,不幸的是,暂时未发现更好的解决办法,或许RHadoop是最好的期望。

托管

1. 必须拥有自己的网络解决方案。如果你想从小的团队开始,确保你团队中有人精通这个,如果没有的话必须立刻雇佣。这曾是Next Big Sound最大的痛点,也是导致一些重大宕机的原因。

2. 在不同的主机托管提供商之间转移总是很棘手,但是如果你有充足的额外预算去支付两个环境运行主机的开销,那么风险将不会存在。抛开一些不可避免的异常,在关闭旧供应商的服务之前,将架构完全复制到新服务供应商,并做一些改进。使用提供商服务往往伴随着各种各样的问题,对比因此耗费的工作及宕机时间来说,资金节省根本不值一提。

3. Next Big Sound有90%的工作负载都运行在Hadoop/HBase上,鉴于大部分的工作都是数据分析而非用户带访问网站产生,因此峰值出现的很少,也就造成了使用提供商服务开销很难比自己托管服务器低的局面。Next Big Sound周期性的购买容量,但是容量增加更意味着获得了更大的客户或者是数据合作伙伴,这也是为什么使用自己硬件可以每个月节省2万美元的原因。

经验

1. 如果你从很多的数据源中收集数据,同时还需要做适度的转换,错误不可避免会发生。大多数情况下,这些错误都非常明显,在投入生产之前给予解决;但是也有一些时候,你需要做充足的准备以应对生产过程中发生的错误。下面是一些生产过程中发现的错误:

  • Twitter上艺术家TB级数据集的收集,并在1到2天内加载到数据库。
  • 为了证明自己应对交期,告诉客户数据已经可用。
  • (1个月的)等待,为什么有20%的追随者都在Kansas,Bumblefuck?
  • 地理名称转换代码将“US”译为国家的中部。
  • 因为客户仍然在使用数据集正确的部分导致无法删除,只能对之再加工,并重新写入数据库,修改所有代码让之读取两个表格,只在新表格中没有这条记录时才读取旧表格,只在所有再处理结束后才可以删除旧表格。
  • 近百行的套管程序,直至几天后,作业完成。

在这些情景下可能存在更明智的做法,直到出现的次数足够多,你才会明确需要修改这些不能被完全删除的生产数据并重建,这也是为什么Next Big Sound为之专门建立系统的原因。

2. 多数的数据都使用Pig建立并处理,几乎所有的工程师都会使用它。因此,工程师们一直在致力研究Pig,这里不得不提到Netflix的Lipstick,非常有效。这个过程中还发现,取代可见性,降低Pig上开发迭代的时间也非常重要。同时,在测试之前,花时间为产生20+ Hadoop作业的长期运行脚本建立样本输入数据集也非常重要。

3. 关于HBase和Cassandra,在使用之前讨论这两个技术的优劣纯粹是浪费时间,只要弄懂这两个技术,它们都会提供一个稳健且高效的平台。当然,你必须基于自己的数据模型和使用场景在这两个技术之间做选择。

原文链接: How Next Big Sound Tracks Over a Trillion Song Plays, Likes, and More Using a Version Control System for Hadoop Data (责编/仲浩)

借助“开源”东风 英特尔打造卓越“软实力” 深圳综合交通设计研究院张鹍鹏:智能交通设备领域已成红海 信息化是发展趋势 25个可遇不可求的jQuery插件 Web设计中对视差设计的误区 直接拿来用,九个超实用的PHP代码片段(二) 一周消息树:小米染指平板电脑凶多吉少 移动周报:Xcode 5.1更新、CarPlay揭秘,Apple很忙 可穿戴领域,创业公司的掘金点?还是滑铁卢? 搜狐SendCloud2014运维技术沙龙拉开帷幕 一周热点:选择Go语言的12个理由,九头蛇与大象之争 中国云计算大会PPT集萃(二):十位技术大牛分享平台打造技术 延迟250毫秒损失数百万美元,Hadoop系统该如何应对实时任务 IBM成立展示中心扩展大型主机的Linux开放生态系统 SDN解决方案总结:OpenFlow、虚拟机、OpenStack和VXLAN/NVGRE 第六届中国云计算大会将于5月20-23日在京隆重召开 大数据实战:站在JMP分析平台上的FIT足迹识别技术 首届SAP d-code大会在上海举办 【OSTC讲师专访】ZoomQuiet:因商业化而开源是中国开源界最大的囧处 亿元资金扶持+联手100家VC,腾讯的雄心壮志 美国史上最大IPO 能给阿里巴巴带来什么? 买Windows平板而非iPad或Android的十大理由 Framework7:不会Objective-C,也能开发iOS7应用 CocoaChina开发者大会 全新引擎Cocos 3d-x开源 Oracle和微软的抱团,以及对抗Amazon霸主的5个可用点 Agile已死 Agility长存? 论程序员的自我修炼 Github女员工因遭性别歧视离职 继七年iPhone、四年iPad后,苹果的下一城:Healthbook 普元CTO焦烈焱:专注于基础软件 在Spark上的深入实践 Python 3.4.0正式发布 未添加任何新语法特性 谷歌受困邮件挖掘丑闻,企图抹掉庭审记录 我先杀你们,再杀自己,然后逃之夭夭---(无内容) 请高手帮忙:原本显示正常的图片现在不能显示了 button的大小可以自己控制吗? 怎么使用ViewState 好歌推荐 念来去 - 小柯 关于值传递的问题 谁能告诉我,通常Windows下,有几种日志文件? 大家用JSP后台一般用什么数据库,并说出为什么谢了! 一个奇怪的问题! *****如何判断Pointer是否为TObject***** 不使用MFC,不弹出打印对话框,如何得到指定名称的打印机的DC 毕业设计的问题,请各位高人指点! IP控件 请教!!! isapi 奇怪问题! 配置站点问题 那有统计程序写多少行的程序? combobox控件的问题 欲购pc,求助!!(进者有分啊) 高分求教!! 建立表得问题 求javascript得到vbs产生的数组 阿菜求教!一个已经建成的dbf数据库怎么修改其字段长度呢? 请问怎么样才能开发手机游戏? 那裡有用java寫的小游戲的原馬呀﹗﹗ 请问怎才可以让图象中有网格啊? 高手指教 配机!!求助!!(进者有分啊) 这样简单的程序怎么通不过! session值修改还是未解决。 一个问题? flashget怎么用? 怎么相应动态创建的控件的事件 关于多媒体播放器的问题 快结婚了,可男朋友依旧把前女友的照片当成宝贝,我该怎么办? 建议组织一个水园老五大联盟。有支持的请up ! jspsmartupload上传100M以上的文件报错怎么办? 高分求助! 在那里下载jsp服务器的软件? 大家帮个忙,急寻南京兼职,饿死了 在unix下如何编译自己写好的c语言程序? 有个问题请教 ? 保存电脑技巧的问题。 在linux下怎么使用SAMBA使用windows下面的东西? 菜鸟级问题 我要在com+中间层返回sqlserver服务器的时间,怎么通过sql语句实现? 女友是空姐没有安全感怎么办 有几个概念不清楚, 劳驾哪位给解释一下 在unix下如何编译自己写好的c语言程序? Listbox 拖放的问题!解决就给100分! orical 我的测试连接失败! 小问题,别笑! 电源电动势的方向是什么 五环电阻颜色依次是棕、棕、黑、黑、棕,该从哪边读 供应超硬航空铝7075铝合金7075-T6硬度是多 (已过期)普通会员 明代竹雕器物的特点与如何鉴定竹雕笔筒 “全锟斤拷锟斤拷源”是什么意思?Verycd的最新标题,表示无法理解. 第二次工业革命对欧洲国际关系产生了什么影响 电源正极负极的本质区别是什么?高电势为正极,低电势为负极是不是人为规定如果我把高电势那一方称为“负极”,那么电流就会是从负极出发,这是不是只是个规定?还有,电势高低是什么的高 西双版纳热带雨林谷怎么样 锘 的广州话发音和哪个字相同 电子跳蚤落到数轴上的ko点第一步从Ko向左跳1个单位到K1,第二步从K1向右跳2个单位到k2,第三步由K2向左跳3个单位到k3,第四步由k3向右跳4个单位到k4……按此规则跳了2010步时,电子跳蚤在数轴上 锟斤拷什么意思 求锘字的广东话读音~~急.!~ 大乐透的中奖概率是多少, 哪里可以做油漆成分分析? 锟斤拷是什么东西 这个燃气管道为什么管子俩端要加个塞子!而且那种镀锌钢管俩端的颜色一样,那个PE管的俩端的颜色还不一样 买到伪劣商品时 ,50,60,70,80,90后分别会怎样做 锟斤拷是什么?最近在贴吧老是看到 锟斤拷、请问这个在贴吧中是什么意思呢? 毛泽东在中共七大政治报告中,首次归纳提出了中国共产党在长期革命斗争中所形成的三大优良作风A、理论和实践相结合的作风 B、和人民群众紧密地联系在一起的作风 C、批评和自我批评的 反射隔热漆是属于什么样的漆? 锟斤拷是啥啊 中国共产党在革命战争年代形成的三大优良作风是什么?在新的历史条件下如何继承和发扬这些优良作风? 反射隔热漆的原理是什么,都用在哪里. 有关地点的简单英文比如hotel hostipal 之类的 ,要初中阶段的,听力表格用... 党在长期的斗争中,形成的三大作风是什么? 如何增强自身的计划性、自制力和执行力,以便使自己的人生更加的充实和更有意义. opencv for (int i=0;iheight;i++){for (int j=0;jwidth;j++){if (((UCHAR*)pCannyImg->imageData+pCannyImg->widthStep*i)[j]==255){y=i;break;}}}我想遇到白色的点就得到一个纵坐标值,可是结果纵坐标的值很大是不是坐标原点在右 党在革命战争年代形成了那些优良传统作风在新的历史条件下如何继承和发扬这些传统和作风? 生产假冒伪劣产品罪应该判几年把好的种子用上别人的包装和商标并且无证销售!虽然销售了一部分 但没对老百姓造成任何的损失 想请教下生产假冒伪劣产品罪应该怎么处理? 关于坐标,很简单,不过我忘了,快点告诉我呗?横坐标乘以-2,纵坐标不变,则所得图形与原图形相比? 网络协议的三要素是什么? 某电场中的一条电场线,A B 是该电场线上的两点,若将一负点电荷从A点由静止释放,负电荷只受电场场力作用,沿电场线从A运动到B.在此过程中,电荷的速度一时间的V-T图是一条过原点的倾斜直线 电阻绿.黑.黑橙.棕电阻是多少?是不是500K 网络协议的三要素是什么?各自有些什么内容? 人生总有失误的时候,那叫无锘不成书.此句话中, 电阻五环一边绿环较宽另一边两色环距离较宽、哪边是第一环?有棕金黑棕绿五色! 网络协议的三要素是什么?具体的说明距离具体说明下,要 锘是什么意思 锟斤拷锟斤拷锟怎么回事 金光乱什么的成语我知道了 是金光乱冒 锘胯耽是什么意思?谢谢 石英砂为什么称作目 中奖率怎么算? 我想知道名字海锘的意思 如何解决锟斤拷现象? 创造竹雕的防腐技术是竹雕王王新明吗? 谁知道名字海锘是什么意思 锟斤拷是什么意思? 原子不显电性但是它带电吗? 老师,关于简便法的运用老师 关于1X2..X100等于 1/2../100等于 1分之2X2分之1X.X100分之50 1/2分之1/3分之1./100分之1怎么办?1.1X1.2X1.4.X10.1等于? 地震模拟振动台由地震模拟振动台由哪些部分组成 教学思维性指什么 请高人帮忙告知这两道题的坐标位置和图形. 欧洲走向联合对国际关系有什么影响 网络三要素是什么,网络协议是什么? 蓝金金红银五环电阻怎么看 “锘”可以字组什么词 电子带负电,e是电子所带电荷量,为什么是正值. 学平面直角坐标运用以前哪些知识,还有平面图运用的知识 近代国际关系经历哪几次变化 富阳法院首推分段倒逼执行机制对付“老新加坡画家上海展示新奇“手机画”外媒对中共三中全会怎么看?问题越来越多 咨询越来越少 自杀干预温州多家典当行集体看走眼 假首饰“骗海上丝绸之路:周边外交的动脉与桥梁强风暴抵达俄罗斯圣彼得堡惊涛拍岸德媒:美在全球设点监控政府通讯澳女公务员出差搞一夜情 拽下台灯砸掉媒体:中国需要制定法律对现有反恐机制美媒爆料国家安全局秘密潜入雅虎、谷歌日本地方政府预测南海海沟若地震恐死1人质事件凸显菲律宾“幼稚政治”浑水卷土重来警示赴美上市中企葡萄牙政府公布新的国家改革方案美国再发灭门惨案 狂徒强杀前女友一家20年不发育容貌如婴儿 美国\"不老细数电影中土豪小伙伴 “土豪金”造型行贿渗透社会各领域手段翻新 曲线行贿外媒曝美国安局秘密窃取雅虎和谷歌数据警察枪击米粉店主追踪:民警连开4枪 十二届全国人大常委会第十六次会议举行坚定信心 主动作为 在应对挑战中保持小核桃成就“六次产业”宜人清香飘四方(家乡美味·品味舌尖上“遥控”种田真方便中国接力收获惊喜(世锦赛直击)为了让“飞鲨”完美受阅(强军路上)十大种企 联手打造第三方电商平台万达并购美国世界铁人公司多部抗战题材电视剧展播万达并购美国世界铁人公司战旗飘飘(金台点兵)中国队摘银创造历史中国扶贫基金会 2015中国消除贫困花椒丰收乐农家全国人大常委会关于批准《中华人民共和及时预警,为防灾减灾赢得时间坚定信心 主动作为 在应对挑战中保持看河北奶业“三变”中国战场是世界反法西斯战争的东方主战崂山茶喝到了“金融水”
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘