Node->Kafka开发测试(2)物联网大数据长什么样

很多东西,仅仅为了用而用,不要去纠结为什么。 之前一章中,在Windows环境下搭建一个Spark/Kafka开发测试环境,但是在实际情况中,都是使用SUSE/CentOS Linux这些操作系统会多一些。 当然,我们还需要更多的组件。例如: Nginx:被用作反向代理(映射企业内网IP和外网IP的映射等),负载均衡(将http请求按照轮询和定义的规则发给不同的应用服务器来处理),减少单一服务的压力。 Node:用来接收和处理高并发的http简单请求,解析后,按照Topic(在Kafka中按照数据类型、区域等不同编码规则)不同创建出消息,然后发送给Kafka。

Continue reading »

Spark+Kafka开发测试(1)环境搭建

一切从Hello, World开始!为了用而用就是唯一的目的。 自己家用电脑是Mac OS操作系统,,但是公司发的电脑是X240 & Window 7系统,部署这些软件组件的步骤大概都差不多,所以有的截图是Windows下、有的是MacOS下完成。 难怪有人问StackOverFlow的创始人,如果回到10年前,你想干嘛?“Go learn Unix”…,还好,年底就可以换新机器了,就要解放了

Continue reading »

物联网->大数据->预测分析应用平台(0)业务需求和技术分解

时隔一年,没有再动笔写日记或者总结性的日志了。最近也也一直在关注一些开源的东西,希望自己能了解的更多,视野更广。 我是去用这些技术,而不是去要对其源代码做修改和深度定制,所以只需要知其然,不需要知其所以然。时间不等人,折腾完这一波,就要开始撸一撸其他的自己的。 1/ 一起来玩乐高 对互联网、以数据作为生命基础的公司来说,IT系统和数据就是第一生产力。而对于传统企业而言,IT系统、或者信息技术的驱动始终是支撑企业实业业务发展的支持力量。毕竟业务不是卖数据。

Continue reading »