银行在建设大数据平台的过程中，不可避免地遇到各种技术难点问题。遇到难点问题时，项目组需协调各种资源解决这个问题。在使用kafka（0.8.2.1）的时候，遇到一个很诡异的问题，具体如下：应用调用kafka的API往kafka里发送数据，每隔一段时间后（大概发送百万笔报文后），发送端就会出现OOM的问...

kafka应用程序包含大量的度量指标，它们所涉及的范围从简单的流量速率度量到各种请求类型的时间度量，这些度量为kafka的每一种行为提供了详细的信息，但是是否我们能从其中选择出自己所需要的以及关键性的指标，这个需要我们的运维人员按需所需在这我主要描述几种在kafka监控中...

首先要安装java，推荐安装JAVA8版本安装zookeeper，kafka使用zookeeper保存集群的云数据信息和消费者信息。Kafka发行版自带zookeeper，可以直接从脚本启动，但是建议安装完整版zookeeper。安装kafka brokerkafka下载地址：http://kafka.apache.org/downloads.html解压命令：tar zxvf...

Kafka可保证在同一partition中的消息是有序的，producer把数据按照同一主键发到同一个partition即可。

若没有特殊定义的话，日志应该在运行脚本kafka_run_class.sh中定义

Kafka是Apache开源的项目，基于Topic来做分布式发布-订阅消息传递，设计目标是快速、可伸缩和耐用冗余 ，关注于海量数据、性能和吞吐量，不关注可靠性和事务。使用Kafka会增加应用端的复杂性，而这个恰恰是中间件应该来完成的事情。Kafka没有两个独立部署的环境间通信的概念，即两个...

我们现在的场景暂时还没有要求全局有序，大部分场景均要求按数据的key有序即可，如果真的要求全局有序，那暂时估计只能通过设置一个parition来实现了。

优势有：1、读写分离，将采集与数据消费分离，降低耦合性2、数据安全性得到保证，kafka可以设置较长的保存周期，数据在周期内一直保存3、数据可重复消费，若发现消费程序问题，待解决后可重复消费该数据4、数据缓冲器，若采集数据量很多，尤其是交易时间，可有效缓冲数据，不会对后端造成绝大...