清理历史数据的操作最简单的可以直接在 zabbix 的配置界面中重新设定历史数据的保存和清理期限,另外也可以直接使用数据库指令清理在 zabbix 中历史数据其实包括2个空间占用很大的表: history (历史表)和 trend (趋势表)...
历史数据安全性,可以采取离线多副本及多地存放,存放采取一定安全措施,比如防磁防磁防火专用设备专用设备,多人管理,密码信封管理等机制历史数据兼容性,应该重点指的数据库。数据库恢复确实依赖备份环境,最佳实践是采取是采取不定期数据泵导出文件方式进行备份并长期保留。...
我们目前部署在K8S的master节点上,单POD,利用K8S的高可用机制确保服务连续性。历史数据我们是通过zabbix接入推送到KAFKA里,供集中监控数据消费并存储
这个一个方法就是区分冷热数据,常规而言业务数据提供实时查询的不会超过6个月,当然如果你的数据量太大,也可以考虑更短,数据的修改分两种,因为定义了冷热数据,热数据在mysql修改,冷数据在tidb修改,然后查询的问题统一从tidb这边提供接口的方式处理关于数据分析对历史数据的依赖,可...
实时数仓的数据粒度应该要跟技术实现有关,我理解有起码有两类实现方式,一类存储指标等汇总数据,另一类是存储清洗后原始数据:1.一类是基于根据实时采集的数据,在历史存储的指标基础上行加工新的指标值。这种实现方式是没有存放实时采集的数据,存储和使用的都是指标。这样做的好...
数据简单只有文字和数字表格,没有图,但量比较大,希望不要转成图片,转换成类似Word文档
一般在HADR环境里,主备库的性能都一样的,因此很少有主机产生日志速度超过备库重放日志速度的情况。不过如果想你担心的那样,主库大量删除数据,备库有可能存在日志重放速度跟不上的情况。那建议:1.如果是要删除整张表,那用truncate清空表的方式,这种方式速度快,产生日志量少。2.如...
网上处理zabbix分区的文章挺多的,如下你可以参考下;https://www.zabbix.org/wiki/Docs/howto/mysql_partitionhttp://blog.51cto.com/beyondhf/1887371
根据我的经验,民航的旅客信息一般保留10年,数据量也是爆发是增长,如果我是架构师,我会规划分布式存储来处理类似问题,类似于oracle exadata的storage index技术,按照时间或特定字段进行数据分布式处理,将计算处理过程与IO运算过程分开,这样才可能保证性能。同时,横向扩展能力也可...
用的是什么数据库,这么大的表是否有建分区,如果有建分区,直接删除分区对于大表而言效率比较高。这也是分区的一个好处之一:提高删除效率。