建议先分析和评估业务需求，再决策是否有必要引入消息平台。确定应用场景后，再做消息平台的选型。譬如KAFKA适合用在以下场景：日志处理场景：使用Kafka收集各种业务系统的日志数据，通过Kafka以统一接口服务的方式开放给下游系统消费，进行实时处理和分析。用户数据采集和分发场景：...
建议先梳理清楚交易的业务特征，和数据流向，现根据需求选择合适的MQ，譬如Kafka和RabbitMQ的功能差异如下图所示： 应用场景确定后，譬如确定合适使用KAFKA，则对此交易数据流的流向、各关联系统的角色进行分析，确认是消息的生产者、还是消费者角色。再根据数据的特征和处理需求，对...
出现消息丢失的现象，是KAFKA参数配置失当的问题。譬如：（1） Producer 参数：如果想保证数据绝对不丢失， Producer 需要开启重试逻辑，并且设置 ACKS=all ，如果需要增大吞吐量，可以考虑设置较大的 batch.size （默认为 16K ）。 （2）Partition参数：分区副本数建议为 2 或 3 ，从可靠性考虑，非常...
目前暂没有安排。与开源可视化工具Kafdrop去结合下，形成一套可视化管理控制系统？： 请问此需求背景是贵单位要自研KAFKA服务？ 还是出自个人兴趣，要有一个指引？
Kafka容器化服务对银行业务方面的价值，一是能够支持实现快速交付和部署业务系统；二是利用K8S平台的故障恢复机制，通过POD重启、漂移等方式快速规避故障，将故障对业务系统的影响降低到最小。Kafka容器化服务对银行技术方面的价值 ，一是支持轻量高密的部署，可以节约服务器物理...
建议Kafka容器化服务注意做好规划和存储的选型，譬如规划方面，根据需求确定是哪种交付方式（共享集群还是独立集群），在服务层和存储层做到租户强隔离、配额管控和高可用部署设计以保证稳定性和安全性。存储选型方面根据本单位的运维实际、存储的技术储备和演进等，选择匹配适...
Redis使用本地磁盘持久化方案：将Redis的持久化文件挂载到宿主机的磁盘上，确保数据在容器重启后不会丢失。但这种方案存在磁盘读写速度慢、数据备份难度大等问题。使用云存储服务：如阿里云OSS、七牛云等，将Redis的持久化文件存储到云存储服务上，避免了本地磁盘读写速度慢的问题...
采集项获取到数据的连续性跟采集的频率有关，另外可能本身就有一些空数据
