汽车行业,数据量为TB级,分表分库,大概120个库左右,后台开发用的.net,所以前期数据处理什么的都是在sql server上进行,之后再迁移到mysql上,所以要经常性的在两种数据库间迁移数据,前面用kettle这类传统的ETL工具来做数据抽取,但是速度慢,品牌多,配置起来也麻烦,想问下各位大佬有没有什么高效的数据迁移工具或者方案没有,谢主隆恩
针对特定的规则逻辑还是自己开发工具吧 ,直接文本的导出导入会更快, 对于你们经常性的迁移,没有什么太适合的工具。 kettle 速度慢,品牌多,配置起来也麻烦 应该是你的使用姿势不对
阿里云的DTS 可以
国内也有厂商在做迁移或同步工具,包括基于分库分表的,TB级数据库并不是太大,估计变化量应该叶不会太大
楼主明确一下每天的变化的数据有多大,如果只是1-10G这样一个量级,数据抽取工具随便哪一个都能应付过来,不建议超过2个,太多了维护成本过高。
有国外的产品支持TB级数据的迁移,我司就在使用,不过你的场景里涉及到了分库分表,使用HVR这款软件的话,需要设计下方案的,有兴趣可以加微信1164258114了解下HVR软件
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30