首先要安装java，推荐安装JAVA8版本安装zookeeper，kafka使用zookeeper保存集群的云数据信息和消费者信息。Kafka发行版自带zookeeper，可以直接从脚本启动，但是建议安装完整版zookeeper。安装kafka brokerkafka下载地址：http://kafka.apache.org/downloads.html解压命令：tar zxvf...

kafka应用程序包含大量的度量指标，它们所涉及的范围从简单的流量速率度量到各种请求类型的时间度量，这些度量为kafka的每一种行为提供了详细的信息，但是是否我们能从其中选择出自己所需要的以及关键性的指标，这个需要我们的运维人员按需所需在这我主要描述几种在kafka监控中...

银行在建设大数据平台的过程中，不可避免地遇到各种技术难点问题。遇到难点问题时，项目组需协调各种资源解决这个问题。在使用kafka（0.8.2.1）的时候，遇到一个很诡异的问题，具体如下：应用调用kafka的API往kafka里发送数据，每隔一段时间后（大概发送百万笔报文后），发送端就会出现OOM的问...

慢有两个地方，一个是redis这端，一个是写入那端。redis这端，redis是单线程的，一次同步很多数据是会比较慢；写入那端看看是否慢，看看是否可以改进。先优化慢，关键是看整个链路消耗的时间，定位出来之后去看是否可以优化。...

是的，对存储性能和io的需求敏感。 存储上具体要持久化哪些数据，这和KAFKA的应用业务场景相关。譬如在用户数据采集和分发场景，是使用Kafka记录Web用户或者App用户的各种活动，如浏览网页、搜索、点击等活动数据，则这些数据都要持久化，且一般要持久到下游消费者全部处理完。...

这个取决于业务及架构特性，以及围绕业务所带来的成本问题。需要结合自身企业的实际情况进行，比如，技术实力、业务特性、资金支持等。。。

在K8S中部署Redis+MySQL测试工具问题，可以使用以下工具来写 MySQL 和测试 Redis 读性能：MySQL Workbench:用于编写SQL语句的图形化工具，可以连接到MySQL数据库并执行操作。2. Redis-benchmark:用于测试Redis读性能的命令行工具，可以生成随机数据并进行读写操作的性能测试。JM...

本次测试中没有实测使用对象存储的性能。原理上看，Kafka产生的以海量小IO小文件为主，且要求高速读写，从workload诉求出发，不太适合对象存储场景。

首先遇到的就是性能问题，其实就是规模化运维的问题。

容器化其实就是解决部署扩展的问题，这个扩展和kafka自身能力没有关系。主要为了部署快捷，容器化以后， 搭建一个kafka集群只要几秒钟。其次，集群扩展也非常容易。