物联网->大数据->预测分析应用平台(0)业务需求和技术分解

时隔一年,没有再动笔写日记或者总结性的日志了。最近也也一直在关注一些开源的东西,希望自己能了解的更多,视野更广。 我是去用这些技术,而不是去要对其源代码做修改和深度定制,所以只需要知其然,不需要知其所以然。时间不等人,折腾完这一波,就要开始撸一撸其他的自己的。 1/ 一起来玩乐高 对互联网、以数据作为生命基础的公司来说,IT系统和数据就是第一生产力。而对于传统企业而言,IT系统、或者信息技术的驱动始终是支撑企业实业业务发展的支持力量。毕竟业务不是卖数据。

Continue reading »

NodeJS->HBase(5)存储设计和数据访问

因为在前面的第4节中,涉及的内容主要是从Redis中校验数据和缓存数据更新,所以这里把HBase给拆分出来了,单独的放在这个章节,便于后续对这HBase内容和线索的扩张学习。 HBase被设计成为用来存储百亿级、百万列(长表、宽表)的结构化的数据,但是HBase里面数据存储和RowKey设计是有一定讲究的。因此,在设计这个HBase表去存储车辆运行数据的时候,要好好处理。 还有就是,永远不要指望使用HBase来实现RDBMS那样的灵活的查询功能(例如,两表join,这算SQL最核心了把,表如果不能用来join,那还要它干嘛,是不是都是这么想的),如果有这个想法,就尽早死了这条心,有些事情坚持很重要的,但是也要懂得放弃。 最后,HBase的目的是为了高并发的简单读和写和海量存储设计的,复杂的关系查询和多维计算天生就是不是它能干的,因此它还有有个好搭档Hive,这个后面再说,兄弟两关系不错。如果合二为一的话就是RDBMS了。

Continue reading »