历史数据安全性,可以采取离线多副本及多地存放,存放采取一定安全措施,比如防磁防磁防火专用设备专用设备,多人管理,密码信封管理等机制历史数据兼容性,应该重点指的数据库。数据库恢复确实依赖备份环境,最佳实践是采取是采取不定期数据泵导出文件方式进行备份并长期保留。...
清理历史数据的操作最简单的可以直接在 zabbix 的配置界面中重新设定历史数据的保存和清理期限,另外也可以直接使用数据库指令清理在 zabbix 中历史数据其实包括2个空间占用很大的表: history (历史表)和 trend (趋势表)...
我们目前部署在K8S的master节点上,单POD,利用K8S的高可用机制确保服务连续性。历史数据我们是通过zabbix接入推送到KAFKA里,供集中监控数据消费并存储
实时数仓的数据粒度应该要跟技术实现有关,我理解有起码有两类实现方式,一类存储指标等汇总数据,另一类是存储清洗后原始数据:1.一类是基于根据实时采集的数据,在历史存储的指标基础上行加工新的指标值。这种实现方式是没有存放实时采集的数据,存储和使用的都是指标。这样做的好...
一般在HADR环境里,主备库的性能都一样的,因此很少有主机产生日志速度超过备库重放日志速度的情况。不过如果想你担心的那样,主库大量删除数据,备库有可能存在日志重放速度跟不上的情况。那建议:1.如果是要删除整张表,那用truncate清空表的方式,这种方式速度快,产生日志量少。2.如...
这个一个方法就是区分冷热数据,常规而言业务数据提供实时查询的不会超过6个月,当然如果你的数据量太大,也可以考虑更短,数据的修改分两种,因为定义了冷热数据,热数据在mysql修改,冷数据在tidb修改,然后查询的问题统一从tidb这边提供接口的方式处理关于数据分析对历史数据的依赖,可...
数据简单只有文字和数字表格,没有图,但量比较大,希望不要转成图片,转换成类似Word文档
个人感觉历史数据的合理规划对也业务系统是必须的,及时整理数据很重要。仅仅针对生产数据库,不断有DML操作的数据表都需要定期进行在线整理,所以我们的数据也需要定期的进行分级规划。从目前主流的数据库分析,花钱的法子就是利用GoldenGate等类似软件进行历史数据迁移,省钱的...
数据的价值肯定是业务说了算,所以历史数据的归档肯定也是业务进行的,无论是通过数据库级的存储过程或者是定制脚本完成数据转储等等手段,都是业务人员指定数据的“时间戳”。而后端架构层也不是“看热闹”就行了,在海量数据的存储上,肯定存储典型的热点和非热点也就是冷热数据...
根据我的经验,民航的旅客信息一般保留10年,数据量也是爆发是增长,如果我是架构师,我会规划分布式存储来处理类似问题,类似于oracle exadata的storage index技术,按照时间或特定字段进行数据分布式处理,将计算处理过程与IO运算过程分开,这样才可能保证性能。同时,横向扩展能力也可...