NodeJS->Kafka开发测试(6)发送,认证、策略管理、消息偏移管理(占坑中…)

来的快也去的快…

 

1/ 按照分组,发给Kafka服务器(占坑)

  • 拿出来,保存到HBASE中,需要使用到HBASE的NPM包插件

根据messageID,查询所属的服务器(如何查询更高效一些,一共400多个参数,按照messageID的第一个字母的分类,来分配。)

2/ Kafka的策略管理(占坑)

  • 数据写入HBase
  • 数据发送给Kafka(分不同的Kafka服务器来发送,不同的服务器对应到不同的用户,隔离开)来发送。
  • Kafka消息大小,生命周期管理多久,保存在磁盘上
  • 如何设定offset management,加入上次读到某个地方,再继续从哪个地方开始读取。
  • 怎么验证用户可以订阅消息。SSL、Kerberos
  • 在哪里解析?
  • 数据直接进哪里?
  • NodeJS分发数据到Kafka,谁能发过去,权限验证
  • 谁能从Kafka读取数据,验证
  • 消息太多,怎么管理
  • 上次读到一半消息,中断了,接着上次的位置向下读取,偏移量怎么搞定

Leave a Reply

Your email address will not be published.