对于非结构化数据,可以进行进行压缩删重等工作?有什么需要注意点?

对于非结构化数据,可以进行进行压缩删重等工作?有什么需要注意点?

参与10

1同行回答

bryanbryan软件架构设计师金融研发
非结构数据一般会占比较多的存储,在实际使用过程中,我们有如下体验根据业务场景,有的都是大量小文件,有的是大量小文件,文件系统的不同参数对这些会有影响,可以在创建文件系统时进行优化;数据压缩:一般是在保存数据的时候就进行压缩了,压缩一种是有损压缩(比如业务票据,在保证一定清...显示全部

非结构数据一般会占比较多的存储,在实际使用过程中,我们有如下体验

  1. 根据业务场景,有的都是大量小文件,有的是大量小文件,文件系统的不同参数对这些会有影响,可以在创建文件系统时进行优化;
  2. 数据压缩:一般是在保存数据的时候就进行压缩了,压缩一种是有损压缩(比如业务票据,在保证一定清晰度的前提下可以适当有损压缩),一种是无损压缩,这是一种典型的“时间换空间”的思路,需要根据业务需求判断是否进行压缩
  3. 生命周期:每个业务都有一定的生命周期,建议在规划的时候就规划好生命周期,这样每天晚上批量删除比较一年之前的业务数据,通过这种方式来保持一定时间窗口的数据。
收起
银行 · 2017-06-30
浏览2827

提问者

qditz
项目总监青岛弘腾数码有限公司
擅长领域: 服务器数据库灾备

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-06-30
  • 关注会员:2 人
  • 问题浏览:5641
  • 最近回答:2017-06-30
  • X社区推广