对于非结构化数据,可以进行进行压缩删重等工作?有什么需要注意点?

对于非结构化数据,可以进行进行压缩删重等工作?有什么需要注意点?显示全部

对于非结构化数据,可以进行进行压缩删重等工作?有什么需要注意点?

收起
参与10

返回bryan的回答

bryanbryan软件架构设计师金融研发

非结构数据一般会占比较多的存储,在实际使用过程中,我们有如下体验

  1. 根据业务场景,有的都是大量小文件,有的是大量小文件,文件系统的不同参数对这些会有影响,可以在创建文件系统时进行优化;
  2. 数据压缩:一般是在保存数据的时候就进行压缩了,压缩一种是有损压缩(比如业务票据,在保证一定清晰度的前提下可以适当有损压缩),一种是无损压缩,这是一种典型的“时间换空间”的思路,需要根据业务需求判断是否进行压缩
  3. 生命周期:每个业务都有一定的生命周期,建议在规划的时候就规划好生命周期,这样每天晚上批量删除比较一年之前的业务数据,通过这种方式来保持一定时间窗口的数据。
银行 · 2017-06-30
浏览2823

回答者

bryan
bryan0514
软件架构设计师金融研发
擅长领域: 云计算容器容器云

bryan 最近回答过的问题

回答状态

  • 发布时间:2017-06-30
  • 关注会员:2 人
  • 回答浏览:2823
  • X社区推广