规范必须先行,否则管理复杂度等比例提升。 元数据的使用,是在数据汇聚后做归集、分类、快速识别d方面起作用,如果数据管理平台能调用s3,那么应该不是问题
从技术上hdfs,hive,impala等基本都支持或原生支持s3z。那么剩下的就是性能考虑。 对象存储对于d高吞吐场景很适合,只是时延方面不擅长。因此,应用侧思考下要求,时延没诉求,当然可以使用。
基于sdk封装是最好的
当你体验过像应用服务一样的对象存储,就知道在os层服务的nas是多么的“不好用”。 但这里最本质原因是习惯的打破。对象存储没有目录结构,但它在海量数据的场景下时间复杂度为1,也就是快。 它的操作也支持所谓的增删改
物理隔离的原因是?对象存储构建一体化资源池,就是为了实现数据池化,通过bucket、namespace罗隔离实现访问限制。如果要做物理隔离,那就构建多个对象存储。这里提物理隔离是出于可用性考虑还是安全? 因此,还需要思考下物理
从IO路径来说本地SSD是会比存储快。但是,为什么还要存储呢?第一,寿命讲,存储上数据块更均匀打散, 存储具备较好的压缩算法,在写惩罚、WP方面做得更好 。因此相较于本地盘的有限数量,其寿命更好,带来的就是服务连续性和稳定性
5%~10%。主存储魔力象限中领导者象限 中非统一存储的厂商 的开启前后性能影响范围。
成本只是一方面,可用性、性能、功能等也是选型另外的几个方面。 有数据表明2017年已经是闪存盘和HDD盘的性价比分水岭了。而市场的反馈也基本印证该结论。
个人观点,技术不是问题,主要是数据安全性问题
采用全闪可能性价比更高, 因为历史库量确实很大,特别是总控历史, 启用压缩后的节省的容量还是非常可观的,而这些事SAS HDD所不及的。 但是,将核心库跟温备、历史分开到不同存储,从可用性角度考虑也是有必要的。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30