1.性能方面:第一要考虑到采集端agent的性能(既要保证对服务器cpu使用率,也要保证采集的速度),第二要考虑解析的速度,优化解析效率,第三要考虑数据入库(es或beaver)性能,结合实际使用情况配置模版或其他优化项,最后整条链路下来所消耗的时间,要考虑集群整体负载,券商的交易高峰压力会比其他行业更为明显。
2.稳定性方面:结合性能方面进行集群的阈值和性能拐点的测试;
3.架构方面:有条件的尽量做到日志的冷热分离;有实际计算指标需求的情况增加flink、spark streaming等组件。