大数据乐高(11)连成一片天(占坑……)

以Hadoop作为底层技术应用平台已经成为行业的大数据的代名词,虽然Hadoop不是大数据的全部,但是也代表了相当的力量。

Spark的崛起,通过AMPlab的产品介绍,Spark其实是用来取代Hadoop的,从Shark->SparkSQL的推出实际上已经正式的宣布

  • 数据进入Hbase之后,定期服务到Hive,然后创建数据仓库,做日,周的report
  • 开发前端的服务,查看这些报表数据
  • Solr的引入
  • NodeJS
  • Redis
  • Flume(前端网页日志的分布式收集,也要进Kafka)
  • Ignite
  • Azkaban
  • Splunk
  • Kylin/Drill/Impala

 

总结

  • 我们学了那些东西,每种东西的那些部分(关键特性,用法)
  • 商用软件和替代性
  • 改进回调地狱,ORM框架,定期作业等
  • 真真需要bigdata的地方,或者是无可替代的部门的说明
  • 那些可以随便可以替代的地方,对比等等

 

Leave a Reply

Your email address will not be published.