随着4G的广泛应用,电信行业需要分析处理的数据量的越来越大,比如现在经分数据量已达几百个T的数据库,传统IOE架构都是通过升级服务器来满足数据增长的处理需求。问现电信行业现有的IOE架构怎么迁移至hadoop,spark,IBM streams平台架构上来?
IOE通过标准sql语言改造,可全量迁移到spark中;一些电信运营商已经使用spark替代了经营分析系统。
但不能直接迁移到stream中,stream是流式计算,需要以规则包括动态静态等进行实时计算。
软件肯定大规模升级和重来开发,比如hbase mongo接替oracle来做日志留存,价格便宜,效率高,我们正在做。主要是关系型向nosql转换,从关系型行转keyvlue型。关键是原系统升级开发,对于厂家难度还是很大,底层推倒重来了一遍,不过长期的来看,还是合适的,毕竟目前大数据技术成本相对比较低!
有sqoop能工具可以帮忙做迁移。
基于经分几百个TB的规模,我们在某省移动采用了hadoop+NoSQL的方案,比greenplum性能提升了5倍左右。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30