说三道四技术文摘-感悟人生的经典句子
说三道四 > 文档快照

支撑过万亿音乐事件的数据分析系统

HTML文档下载 WORD文档下载 PDF文档下载
横跨众多流行平台,Nex Big Sound需要在100多个数据源上收集数据,为了应对数据的不断变化,他们不得不像GitHub一样“版本化”,这里带大家一览其完全基于开源的分析平台。

【编者按】Nex Big Sound被称为唱片公司的仪表盘,从事乐队在社交网络上流行程度以及歌迷互动情况的衡量,曾于2012年初获得一笔650万美元的A轮融资。近日该公司的首席架构师Eric Czech在HighScalability上撰文讲述了音乐分析上的扩展性挑战,并分享了解决之道。


CSDN推荐:欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验,生态圈发展趋势。


以下为译文:

当下,在线行为分析已并不罕见,但对整个音乐产业进行分析仍然不是一件容易的事情——你需要横跨Spotify、iTunes、YouTube、Facebook等众多流行平台进行相关跟踪,其中包括近5亿的音乐视频流、下载、艺术家页面上产生的大量likes(每日)等,这将给分析系统扩展性带来巨大的挑战。Next BigSound每天从100多个源中收集这些数据,进行分析,并通过基于网络的分析平台将这些信息提供给唱片公司、乐队经理及艺术家。

时至今日,类似Hadoop、HBase、Cassandra、MongoDB、RabbitMQ及MySQL这样的开源系统已在生产环境中得到了广泛应用,Next Big Sound正是基于开源构建,然而Next Big Sound的规模显然更大了一些——从超过100个源接收或收集数据。Eric团队首先面临的问题就是如何处理这些不停变化的数据源,最终他们不得不自主研发了一个存储系统,从根本上说是个可以“version”或者“branch”化从这些数据源上收集的数据,类似GitHub上的代码版本控制。Next Big Sound通过给Cloudera发布版增加逻辑层来实现这个需求,随后将这个层与Apache Pig、 HBase、Hive、HDFS等组件整合,形成一个在Hadoop集群上海量数据的版本控制框架。

作为 “Moneyball for Music”一员,Next Big Sound开始只是个运行在单服务器上的LAMP网站,为少量艺术家追踪MySpace上的播放记录,用以建立Billboard人气排行榜,以及收集Spotify上每首歌曲上产生的数据。随着数据以近指数级速度的增长,他们不得不选用了分布式系统。同时,为了跟踪来自公共及私有提供者的100多个数据源和不同性质音乐的分析处理,Next Big Sound需要比当下开源数据库更优秀的解决方案。

Next Big Sound一直保持着非常小的工程团队,使用开源技术搭建整个系统,采用过完全云架构(Slicehost)、混合云架构(Rackspace)、主机托管(Zcolo)等不同架构形式。

统计

  • 40个节点的Hadoop集群(150TB容量),约60个OpenStack虚拟机
  • 10TB的非重复、已压缩的数值型数据(6TB原始、4TB索引)
  • 10个工程师,总计22人
  • 5年的开发
  • 每天30万时间序列查询
  • 峰值期间每天400GB新数据
  • 记录百万艺术家超过万亿的事件,包括了YouTube音乐视频访问数、Twitter上转发和@艺术家的数量、iTunes购买数以及在线广播流。

平台

  • 托管:使用ZColo进行托管
  • 操作系统:虚拟和实体服务器都使用 Ubuntu 12.04 LTS
  • 虚拟化:OpenStack(2x Dell R720计算节点、96GB RAM、2x Intel 8-core CPU、5K SAS磁盘驱动器)
  • 服务器:Dell R420、 32GB RAM、4x 1TB 7.2K SATA数据磁盘, 2x Intel 4-core CPU
  • 部署:Jenkins
  • Hadoop: Cloudera (CDH 4.3.0)
  • 配置:Chef
  • 监视:Nagios、Ganglia、Statsd + Graphite、 Zenoss、 Cube、 Lipstick
  • 数据库:HBase、MySQL、MongoDB、Cassandra(正在逐步使用HBase替代)
  • 语言:数据收集和集成用PigLatin + Java、数据分析使用Python + R + SQL、PHP ( Codeigniter +  Slim)、JavaScript ( AngularJS +  Backbone.js +  D3)
  • 处理:Impala、Pig、Hive、 Oozie、 RStudio
  • 网络:Juniper(10Gig、冗余核心层W/自动故障转移、机架上配备1 Gig接入交换机)

存储架构

使用类似Cassandra及HBase这类分布式系统存储时间序列是很容易的,然而,随着数据和数据源的暴增,数据管理变得不再容易。传统情况下,整合从100+数据源中搜集数据的工作包含以下两个步骤:首先,在Hadoop ETL管道对原始数据进行处理(使用MapReduce应用、Pig或者Hive);其次,将结果存储到HBase以便后续Finagle/Thrift服务的检索。但是在Next Big Sound,情况有了些不同,所有存储在Hadoop/HBase中的数据通过一个特殊的版本控制系统维护,它支持ETL结果上的改动,允许根据需求来修改定义处理管道的代码。

在对Hadoop数据进行再计算时,使用“版本化”管理Hadoop数据提供了一个可恢复及版本化途径,扩展了许多数据处理周期技术(比如LinkedIn)。而Next Big Sound系统的区别在于可以配置版本化的等级,而不是必须在全局运行,举个例子:在记录一个艺术家某个地理区域上tweet转发次数的用例中,忽然发现在某个时间段内基于地理位置编码的逻辑是错误的,只需建立这个时间段的新数据集就可以了,从而避免了对整个数据集进行重建。不同的数据通过版本进行关联,也可以为某些用户指定所访问数据的版本,从而实现只有在数据精确时才对用户释放新的版本。类似这样的“Branching”数据可以应对数据源和客户需求的变化,同时也可以让数据管道更高效。更多详情查看下图(点击查看大图):


更多详情可查看Paper: HBlocks:A Hadoop Subsystem for Iterative Data Engineering .

Hadoop基础设施方面,同样面临了很多难题:1,跨整个音乐产业的社交网络和内容发布网站的实体关系映射;2,贯穿上千万数据集建立用于排序和搜索的Web应用;3,管理数百万API调用的信息以及网络爬虫。这些操作都产生了特定的需求,而在Next Big Sound,系统完全建立在开源技术之上,下面是一个概况图(点击查看大图):


数据显示

测量仪表盘一直都是个进行中的项目,这个工作大部分由用户需求主导。由于数据源太多,这里的长期目标是做灵活性和学习曲线之间的平衡;同时,由于新客户和特性的增加,维持一个连续的JavaScript/PHP代码库进行管理也变得愈加困难。Next Big Sound操作如下:

  • 开始使用简单的Codeigniter应用,尽可能的尝试添加Backbone,当下已战略性的转向Angular。
  • 使用Memcache缓存大型静态对象。
  • 度量数据的缓存和历史记录使用本地存储。
  • 使用D3做图,之前使用的是Rickshaw。
没有做功能标志,但是使用了自己的方法。如果某个代码库经常被重写,这点将非常重要,没有它,很多事情我们都完成不了。

FIND

投入大量精力做用户基于给定条件的数据集搜索,这个功能被定义为“FIND”项目的预览版本。类似股票筛选器,用户可以做类似的查询。比如:Rap艺术家,占YouTube视频播放数的30-40百分位,同时之前从未出现在任何流行排行榜上。这个功能主要依赖于MongoDB,在MapReduce作业提供了大量索引集的情况下,系统完全有能力以近实时速度完成数百万实体上的查询。

MongoDB在这个用例上表现的非常好,然而其中一直存在索引限制问题。Next Big Sound一直在挑战这个瓶颈,ElasticSearch得到了重点关注。

内部服务

产品使用了所有度量数据,API由1个内部Finagle服务支撑,从HBase和MySQL中读取数据。这个服务被分为多个层(同一个代码运行),关键、低延时层通常直接被产品使用,一个具备更高吞吐量、高延时的二级层则被用作编程客户端。后两个方向一般具有更多的突发性和不可知性,因此使用这样的分离层可以给客户交付更低的延时。这样的分层同样有利于为核心层建立更小的虚拟机,将Finagle剩余的服务器共至于Hadoop/HBase机器上。

Next Big Sound API

支撑Next Big Sound内外共同使用的主API已经过多次迭代,下面是一些重点建议:

  1. 不要建立一个只体现方法的API,建立一个模型化系统实体的API,使用HTTP(GET、PUT、POST、HEAD、PATCH、DELETE)处理这些实体行为,这样会让API更容易预测和实验。
  2. 对于依赖实体关系的方法,为主实体使用类似“字段”里的参数,让它提供重点关注的实体关系。在Next Big Sound,这就意味着API将提供一个带有“字段”参数的“艺术家”方法,如果这个字段被设置成“id、name”,那么将允许返回这个艺术家的姓名;如果将这个字段设置成“id、name、profiles、videos”,那么将允许返回艺术家在YouTube频道上的信息以及所有视频。读取实体之间的关系可能有很大的开销,这种方法可以适当的避免数据库查询,并抛弃一些丑陋的组合方法,比如“getArtistProfiles”或者“getArtistVideos”。
  3. 使用外部API来建立应用程序的好处已众所周知,但是在实践的过程中还发现一些比较隐晦的益处,比如给项目添加新Web工程师。Next Big Sound之前在API调用和JS代码之间添加了一些PHP代码,而现在则严格限制JavaScript和API之间的交互。这就意味着Web开发者可以专注于浏览器代码,而在使用Backbone及Angular框架后更是如虎添翼。

提醒和基准

在音乐的世界里随时都有事情发生,为了获得“有意义”的事情,Next Big Sound必须在所有平台建立基准数据(比如Facebook每天产生like的数量),并提醒客户。开始时也遇到过许多扩展性问题,但是在使用Pig/Hadoop做处理并将结果储存在MongoDB或MySQL后,事情简单了起来。Next Big Sound所做的工作就是发现趋势,那么给“有意义”设立临界值就变得至关重要,因此在做基准时必须使用尽可能多的数据,而不是只从某个数据上入手,与基准线的偏离量将代表了一切。

Billboard Charts

Next Big Sound被授权做两个Billboard杂志排行榜,一个是艺术家在线流行指数总排行,另一个是哪个艺术家可能会在未来排行榜上占据一席之地。这个功能并未造成任何扩展性问题,因为只是做所有艺术家得分的一个反向排行,但是制造一个无重复、有价值的列表显然需要考虑更多因素。非实名给系统带来了大量麻烦(比如Justin Bieber的Twitter用户名到底是"justinbieber"、"bieber"及"bieberofficial"中的哪一个),通常情况下,会采用机器和人工组合来解决这个问题。基于1个人名的选错会产生重大影响,手动完成则必不可少。随后发现,为在系统上增加这个“功能”,即让它记住类似的处理方法并有能力重现将变得非常有效,幸运的是,这个系统实现难度并不大。

预测Billboard得分

在哪个艺术家将会在下一个年度爆发的预测上曾开发了一个专利算法,这个过程应用了Stochastic Gradient Boosting技术,分析基于不同社交媒体成员的传播能力。在数学方面,实现难度比较大,因为许多使用的工具都非Hadoop友好实现,同时也发现Mahout表现非常一般。这里的处理过程包括输入数据集、通过MapReduce作业写入MongoDB或者是Impala,通过R-MongoDB或者R-Impala来兼容R,然后使用R的并行处理库在大型机上处理,比如multicore。让Hadoop承担大部分负载和大型机承担剩余负载带来了很多局限性,不幸的是,暂时未发现更好的解决办法,或许RHadoop是最好的期望。

托管

1. 必须拥有自己的网络解决方案。如果你想从小的团队开始,确保你团队中有人精通这个,如果没有的话必须立刻雇佣。这曾是Next Big Sound最大的痛点,也是导致一些重大宕机的原因。

2. 在不同的主机托管提供商之间转移总是很棘手,但是如果你有充足的额外预算去支付两个环境运行主机的开销,那么风险将不会存在。抛开一些不可避免的异常,在关闭旧供应商的服务之前,将架构完全复制到新服务供应商,并做一些改进。使用提供商服务往往伴随着各种各样的问题,对比因此耗费的工作及宕机时间来说,资金节省根本不值一提。

3. Next Big Sound有90%的工作负载都运行在Hadoop/HBase上,鉴于大部分的工作都是数据分析而非用户带访问网站产生,因此峰值出现的很少,也就造成了使用提供商服务开销很难比自己托管服务器低的局面。Next Big Sound周期性的购买容量,但是容量增加更意味着获得了更大的客户或者是数据合作伙伴,这也是为什么使用自己硬件可以每个月节省2万美元的原因。

经验

1. 如果你从很多的数据源中收集数据,同时还需要做适度的转换,错误不可避免会发生。大多数情况下,这些错误都非常明显,在投入生产之前给予解决;但是也有一些时候,你需要做充足的准备以应对生产过程中发生的错误。下面是一些生产过程中发现的错误:

  • Twitter上艺术家TB级数据集的收集,并在1到2天内加载到数据库。
  • 为了证明自己应对交期,告诉客户数据已经可用。
  • (1个月的)等待,为什么有20%的追随者都在Kansas,Bumblefuck?
  • 地理名称转换代码将“US”译为国家的中部。
  • 因为客户仍然在使用数据集正确的部分导致无法删除,只能对之再加工,并重新写入数据库,修改所有代码让之读取两个表格,只在新表格中没有这条记录时才读取旧表格,只在所有再处理结束后才可以删除旧表格。
  • 近百行的套管程序,直至几天后,作业完成。

在这些情景下可能存在更明智的做法,直到出现的次数足够多,你才会明确需要修改这些不能被完全删除的生产数据并重建,这也是为什么Next Big Sound为之专门建立系统的原因。

2. 多数的数据都使用Pig建立并处理,几乎所有的工程师都会使用它。因此,工程师们一直在致力研究Pig,这里不得不提到Netflix的Lipstick,非常有效。这个过程中还发现,取代可见性,降低Pig上开发迭代的时间也非常重要。同时,在测试之前,花时间为产生20+ Hadoop作业的长期运行脚本建立样本输入数据集也非常重要。

3. 关于HBase和Cassandra,在使用之前讨论这两个技术的优劣纯粹是浪费时间,只要弄懂这两个技术,它们都会提供一个稳健且高效的平台。当然,你必须基于自己的数据模型和使用场景在这两个技术之间做选择。

原文链接: How Next Big Sound Tracks Over a Trillion Song Plays, Likes, and More Using a Version Control System for Hadoop Data (责编/仲浩)

VB制作带有动画和声音的屏幕保护程序 VB制作自己的MP3播放器 用VB实现鼠标的隐藏 0、""(空字串)、Null、Empty、与 Nothing 的区别 -VB资料 VB中获取逻辑磁盘的信息 Command & Conquer 文件格式-VB资料 CrystaIReports for VB5报表编程经验 DirectX揭密-VB资料 HOOKS 说明书-VB资料 kb_event函数的使用 -VB资料 MaskEdit 中 9 的问题 -VB资料 MDB文件的导出(使用DAO)-VB资料 PaintPicture的和法 -VB资料 Shell & Wait 的程序怎么写? -VB资料 SHELL语句用法心得-VB资料 VarPtr、StrPtr和ObjPtr函数的用法-VB资料 VB 在ACADWIN中的使用 VB5.0应用程序的启动与退出设计 VB5如何取得CDROM的盘符? VB5三十六计 VB5中确定CPU类型 Vb6.0编程技巧四则 VB6二进制双通道技术实战经典 VB6内置的内码转换功能 VB编程步步高-代码效率篇(一) VB编程步步高-杂类篇(二) VB编程步步高-杂类篇(一) VB编程的必备技巧 VB编程的一些心得 VB编程技巧几例 VB编程经验点滴 关于表关联 救命啊,使用FTP的问题! CSS中怎样设置字体的加粗? 我想把菜单可以拖动,就象office的菜单那样,要怎么做呀,谢谢 80分求救 C++Builder开发程序登录问题? 请问GridBagConstraints(有源码) 如何动态更换列表控件前面的小图标? 关于记录修改 用sdk编程怎样加入toolbar? table里的查询字段为什么不会显示数据? c#与interbase请教 C语言的大小问题都在这里面? 不要编译,你猜猜这个程序会有几个类型匹配的警告? 不要编译,你猜猜这个程序会有几个类型匹配的警告? 高分解问,请教高手!关天GIS! 如何判断窗体中的某个控件是textbox控件?或判断窗体中textbox的个数? 如何调用返回不定字段个数的存储过程 那里能找到rational rose 有关FORM与ACCESS数据库的连接 如何使用photoshop把图像缩小到指定大小? 关于某种文件关联的问题 为什么用net send发送的消息有关不掉,点了好多次确定也没用。 怎么保存到数据库中?急急急! 电脑出问题了。 tomcat4.01+apache2.046组合问题:单个的都能运行,...可以加分.. %u的问题 如何调整对话框上工具栏的状态 关于query控件的一个问题 如何结束一个线程? FastReport怎么将没有记录的地方也画上格子??? 我的oracle9装上去之后怎么有7。2G那么大??并且还连不上MANAGEMENT SERVER只能独立启动??请指教!! Fastreport与quickreport那个更好用? 进者有分. 强烈要求铲除全国所有的收容所!!! 要用什么软件才能将CMOS参数备份到某个文件夹中? 请问怎么在建表代码里定义关键字? 请问把数据写入ListView控件内,有什么办法可以快点? win2k server dns 求助! 我在易趣上竞的一个数码相机,只要250元,但是只能拍26张相。我不知道是真是假? 一个搞不定的恶意网站 cout与printf的问题 没有路由怎样用一台服务器实现300台左右的电脑上网? ResultSet里读出数据的参数问题,马上给分 netvt(唯她 v1.1.1),进来拿你应得的分 如果我的程序中用了VFP,但是用户可能并没有装VFP,有什么好的办法直接替用户解决了这个问题,而不是提醒他自己去装 怎么保存到数据库中?急急急! 我用treeview显示数据库的数据,增加一条新记录后,要怎么样才能马上在treeview显示? 无法传值问题,高手急救!!!!!!!!! 在线等待:怎么为datagrid控件的某一格赋值? 请教如何在input上传筐里面限制文件类型? java的图形设计比如swing有前途吗?大家来讨论下,迷惑中。。。 海洋之家制氧机效果怎么样啊? 机械波为什么归为横波可是横波定义是这样啊:横波也称“凹凸波”.质点的振动方向与波的传播方向垂直,这样的波称 为“横波”.那么在绝对真空中的电磁波没介质就谈不上质点振动 耐磨橡胶衬板主要厂家有哪些? 一根直径4毫米,长2.5米的铜棒重多少? 请写出10句以内关于战争的名人名言~ 仿写句子如一朵鲜花,点缀不出绚丽的春天 急!高中物理题!一个小球放在倾角为α的斜面上,与地面高h,斜面地面光滑,求小球在斜面末端的速度.再求一下这时斜面的速度,注意,这不是一个简单的问题,我问过老师了,没做出来.所有待求的 香樟树冠幅是什么意思 下图:三个直径相等的圆.求阴影部分的面积占一个圆面积的几分之几? 质量为m的小球以初速度v0从倾角为α的光滑斜面底端向上冲,冲上h高时小球的机械能为质量为m的小球以初速度v0从倾角为α的光滑斜面底端向上冲,冲上h高时小球的机械能为? 雪松1年能张有多大?冠幅有2m吗? wp手机是什么? 请说明下为什么一个物体在吸收了 3*10^4J热量的 ,内能减少了 4*10^4J 则 在这个过程中的 做功情况为A 物体对外做功7*10^4 JB 物体对外做功1*10^4 JC 外界对物体做功7*10^4 JD 外界对物体做功 1*10^4 J 横波只能在固体中传播是不是只是指在机械波的范畴内? 如图三个直径相等的圆阴影部分的面积占一个圆面积的多少 非接触力有哪些受力物体和施力物体不直接接触就能产生的力(非接触力)有哪些 写出描写战争的诗句或名言警句. 如右图:三个直径相等的圆.求阴影部分的面积占一个圆面积的几分之几 分子间有哪些力?分子力是其中的一种吗? 作为一个平时英语成绩113左右的高中生,雅思6.5两个月能冲到吗我现在急需雅思成绩,否则就要再等一年申请大学,英语底子没那么好,但是拼全力的话,两个月可以吗 爱因斯坦的相对论简单来说究竟是什么 力分为接触力和非接触力,接触力?非接触力?(每个个五个) 去年12月四级602 今年6月六级622 英语一直没有系统的学 基本上坚持看老友记 现在考雅思 过年前有机会7.5么 大家觉得WP系统手机的优点在哪? 做鞭炮和灯笼怎么做 请问雅思好考么?没有英文基础 两个月的时间 雅思能考到3. 你觉得手机WP操作系统怎么样最近喜欢上了WP操作系统 怎么样作鞭炮最响? 紫荆 打一纺织词语 最新的WP手机操作系统怎么样,有什么新功能呀 哥白尼是怎样发明望远镜的?能告诉我答案么? 十分徳法 打一纺织词语 金鱼是卵生还是蛋生如题 金鱼是过卵生还是蛋生抚养后代的 我生活在快乐之中450字 水泥磨二仓衬板磨平了,影响产量吗 恐龙是怎样从我们的地球蛋生的呢? 爆竹的名字由来爆竹的名字 是怎样由来的?还有、还有说一个爆竹的传说或故事、随便说一说 爆竹的种类 (5~6个把) Φ3.2x13m 水泥磨三仓钢球级配 带2个负电荷的硫离子的化学式是什么 “↘”这个符号怎么打啊? 什么是水泥磨?水泥磨在安装试车时应该注意哪些事项? 综合知识抢答赛,答对一题加5分,答错一题扣2分.A学生共抢答了20道题,最后得分72分.他答对几道题? 波兰天文学家哥白尼经过近40年的研究,最终创立了什么? 最好的水泥磨厂家?水泥磨哪家好? 人生如絮,飘零在此万紫千红的春天.仿句例句:人生如絮,飘零在此万紫千红的春天.仿句:人生如————————人生如———————— 史记中的“中国”“我”是什么意思?比如观兵中国,很多都出现了“中国”这个词,和今天的中国意义一样吗?还有“我”比如勾践世家里伍子胥一会说“我”一会说“吾”这个也和今天一样吗 30乘(1+5分之1)除以(1-5分之1)等于多少? 什么是开路粉磨?什么是闭路粉磨?水泥开路粉磨和闭路粉磨的区别? 史记是如何写人的? 同样的是吃动物的尸体,为什么我们吃到虾这类动物吃到的是美味,而看到菜肴里有小虫或蟑螂之后是呕吐不止呢?相信大家都有过这样的经历.望你们GG/JJ踊跃发言不过这些东西,在国外是有地方 怎样用几何图形来表示四字成语:一个三角形没个角里有一个圆 史记写的是什么? 基督教的词汇天启是什么意思? 一句关于战争的名言急 司马迁写史记时选人评人标准 crystal plane oh on my love .急用 堆焊耐磨板和铸造哪个好为什么堆焊耐磨行性能好能说的具体点嘛!谢谢~ 在篇章的剪裁和结构方面,《史记》所首创的写人方法是( ). 翻译 Crystal plane oh my love 哪些单位需要堆焊耐磨板 联大主席称新兴经济体成为促进发展中国运营商公布垃圾短信举报方式 违规号码河南大货车路过徐州遭胡乱罚款 涉事警中储粮掺转基因油续:千吨进口菜子油获印度开建182米高世界最高雕塑 呼吁加沙唯一发电站停运使供电形势严峻美国洛杉矶国际机场发生枪击事件中储粮就掺转基因油事件处分6人 一公联合国秘书长与世行行长将再次联合访问希腊首都发生枪击事件两死一伤北京黑停车场当城管面收费 称公司领导希腊首都雅典发生枪击事件 致两人死亡男孩疑因被逼检讨跳楼身亡 老师至殡仪北京多部门称对荷兰艺术家“雾霾吸尘器崔永元未明确回应“因抨击转基因离开央巴基斯坦塔利班首领在美军无人机空袭中中央电视塔等知名景区被“踢出”北京一成都10岁小学生跳楼自杀 班主任殡仪美称注意到斯诺登与德议员会面报道 正美国毒贩修隧道铺轻轨快速运毒 通往墨美国土安全部曝丑闻:每年多发870万油价反弹不会持久 料跌至18美元才见人生岂能无美酒 十大酒庄来品游原油风波后中国称第一,俄将落荒而逃油价下周继续看多,必赢在多!周评:伊朗泼冷水继续增产 美元意外走拿着驾驶本在中国当老司机,到国外却只丰田宣布收购大发,双方合作发力小型车普京大帝一声吼,油价向下抖三抖山西惊现豪华路虎车队,惊现大众视野中国登陆世界舞台,挑战美国权威,上演油价涨势强劲,伊朗伊家增产也阻挡不了老炮索罗斯做空中国遭新华社呵斥,必有唐山凤凰城惊现“奢华婚礼车队”堪称经美誓&波罗蜜 大牌体验官招募第一期启面包车就喜欢撞玛莎拉蒂,你信吗?国防部回应美舰进中建岛12海里 对美年花的养护阿森纳派球探前往诺坎普考察巴萨曼奇尼:还不确定埃德尔是否首发司机违停拒绝受罚 驾车闯卡撞向民警男子拐卖二十二名儿童被依法执行死刑
备案号:鲁ICP备13029499号-2 说三道四 www.s3d4.cn 说三道四技术文摘