大数据本身的意义在于有效数据的合理利用，在有效数据的基础上，建立数据模型，形成分析基础，产生对业务有意义的分析结果。所以从技术考虑，我们如何规划大数据的生命周期，所谓的自动化是如何处理好中间数据及过期数据？有哪些技术可以在整个生命周期内有意义？希望大家可以给予指导。
我的理解其实大数据的生命周期归根结底就是根据数据的价值的变化，将数据在不同的存储池之间迁移，包括高性能存储池，低速磁盘存储池和备份存储池等。所谓的自动化就是在文件系统或者类似的数据管理平台上将数据在不同的存储池之间迁移。这个功能在文件系统上实现的好处是在上层可以保持一个单一的命名空间。可以参考各家存储厂商的实现，我们IBM的Spectrum Scale里的ILM是一个典型的实现。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30