分布式数据库备份方式和导入导出功能效率与传统数据库对比?

国产分布式数据库选型中,各个产品的备份方式都有哪些?哪些备份软件与国产常用的数据库备份兼容性较好?逻辑备份方面基本上都使用导入导出的备份方式,利用sql文本的方式导出备份,但是在大表导出备份时,对比Oracle数据库的expdp备份性能较为低下,大家是否有更好的办法?

参与33

6同行回答

anikikonganikikong课题专家组数据库运维工程师中国民生银行
分布式数据库和传统数据库一样,在导入导出的时候都是逻辑方式慢,物理方式快。逻辑:速度堪忧,不过有可能的话基于分片来并发导入导出,提高效率。物理:这个主要需要产品支持,导出容易,恢复比较麻烦,场景受限。国产备份软件还在一个个公关验证中,建议用户多提需求,催熟产品。...显示全部

分布式数据库和传统数据库一样,在导入导出的时候都是逻辑方式慢,物理方式快。
逻辑:速度堪忧,不过有可能的话基于分片来并发导入导出,提高效率。
物理:这个主要需要产品支持,导出容易,恢复比较麻烦,场景受限。
国产备份软件还在一个个公关验证中,建议用户多提需求,催熟产品。

收起
银行 · 2023-01-09
浏览1233
  • 逻辑备份导出效率不一定比传统集中式数据库低,大多时候是要好一些的 同样的数据量,分布式数据库可以做到表之间的并行导出、也可以做到表内的并行导出
    2023-02-27
  • [此评论已删除]
    2023-02-27
twt大禹twt大禹数据库架构师大禹
分布式数据库在备份和导入导出上相对传统单机数据库会更有优势一些,因为其可以利用多台机器的并行处理能力。当然,如果从备份、导入导出效率来看,无论是tdsql、goldendb、都没有优势,oceanbase的效率是最高的,因为默认都开启压缩的,号称压缩比5:1 ~ 10:1之间,关键不影响业务;...显示全部

分布式数据库在备份和导入导出上相对传统单机数据库会更有优势一些,因为其可以利用多台机器的并行处理能力。当然,如果从备份、导入导出效率来看,无论是tdsql、goldendb、都没有优势,oceanbase的效率是最高的,因为默认都开启压缩的,号称压缩比5:1 ~ 10:1之间,关键不影响业务; 按照5:1的压缩比计算,备份恢复效率是其他数据库的5倍,这管理体验用着飞起。
同样是LSM架构的tidb,不知道为啥做不到呢? 

收起
银行 · 2023-01-20
浏览1046
flywiththewindflywiththewind其它easy world
目前国产分布式数据库的备份还好,就是导出导入相对薄弱。一方面这些数据库将表数据导出到可读文件或csv相关文件,不是类似db2 ixf特定格式的或二进制文件,速度相对缓慢;另一方面是导出工具基于java或其他开源组件进行研发,性能相对薄弱。慢才有压力,才有动力,希望国产数据库越...显示全部

目前国产分布式数据库的备份还好,就是导出导入相对薄弱。
一方面这些数据库将表数据导出到可读文件或csv相关文件,不是类似db2 ixf特定格式的或二进制文件,速度相对缓慢;另一方面是导出工具基于java或其他开源组件进行研发,性能相对薄弱。
慢才有压力,才有动力,希望国产数据库越来越成熟。

收起
系统集成 · 2023-08-21
浏览457
星星峡的风星星峡的风技术支持工程师福建新大陆软件有限公司
从gbase的使用经验来看,导入导出性能优异,主要依赖于数据库的列存储设计。显示全部

从gbase的使用经验来看,导入导出性能优异,主要依赖于数据库的列存储设计。

收起
电信运营商 · 2023-01-31
浏览943
wangzk0206wangzk0206数据库管理员scrcu
绝大部分数据库的备份方式都分为物理备份和逻辑备份。物理备份分为全量备份和增量备份,逻辑备份分为可以备份为文本文件和备份到二进制文件。物理备份主要用于全库恢复,可以恢复到任意时间点,速度快的优势,一般用于灾难级别恢复;逻辑备份只是备份某个表或者某些表某一时刻的...显示全部

绝大部分数据库的备份方式都分为物理备份和逻辑备份。物理备份分为全量备份和增量备份,逻辑备份分为可以备份为文本文件和备份到二进制文件。物理备份主要用于全库恢复,可以恢复到任意时间点,速度快的优势,一般用于灾难级别恢复;逻辑备份只是备份某个表或者某些表某一时刻的静态数据,恢复简单和单表恢复快特点,一般用于日常变更的回退场景。两者用于不同场景,同等重要。
恢复到sql文本文件和oracle的expdp没有可比性,因为expdp恢复的是二进制文件,只能用于impdp来导入,是oracle的特定格式,所以效率高。如果oracle导出成文本文件同样慢。拿ob来讲的话,他有一个导入导出工具叫obdumper和obloader,他就有几种格式导出,效率还是非常不错的。
至于国产备份工具这块,目前我们用的还是国产数据库自带的,与其他备份软件兼容性可能还需要磨合下才行,主要是两个产品间要兼容。

收起
银行 · 2023-01-09
jillmejillme课题专家组CIO某大型银行
个人感觉 可能与最终的存储格式,数据量,和机器性能有关系。主要还是测试。 OACLE的expdp有很多参数可以设置,应该没有这么慢吧。建议从参数入手调整下 比如并发 文件大小 内存这些。...显示全部

个人感觉 可能与最终的存储格式,数据量,和机器性能有关系。主要还是测试。 OACLE的expdp有很多参数可以设置,应该没有这么慢吧。建议从参数入手调整下 比如并发 文件大小 内存这些。

收起
互联网服务 · 2023-01-09

ChatGPT 回答

国产分布式数据库中,备份方式一般有以下几种:

  1. 全量备份:将整个数据库备份到本地或远程存储介质中,以便在数据丢失或损坏时进行恢复。
  2. 增量备份:只备份数据库中新增或修改的数据,以减少备份所需的时间和存储空间。
  3. 日志备份:备份数据库的事务日志,以便在数据丢失或损坏时进行恢复。
  4. 分布式备份:将备份数据分散存储在多个节点上,以提高备份的可靠性和恢复速度。

在国产常用的数据库备份软件中,与国产分布式数据库兼容性较好的备份软件包括:

  1. 备份软件:阿里云RDS备份、腾讯云DB备份、华为云DDS备份等。
  2. 数据库备份软件:金山云数据库备份、用友云数据库备份、达梦数据库备份等。

在进行大表导出备份时,可以考虑以下几种方法:

  1. 使用分区表:将大表分成多个分区,每个分区单独导出备份,以减少单个表的导出备份时间。
  2. 使用并行导出:将导出备份任务分成多个子任务,同时进行导出,以提高导出备份的速度。
  3. 压缩备份文件:在导出备份后,使用压缩软件对备份文件进行压缩,以减小备份文件的大小,提高备份的传输速度和存储效率。
  4. 使用专业备份软件:一些专业的备份软件,如Oracle的expdp备份,可以提供更高效的备份方式,可以考虑使用这些软件进行备份。

提问者

leiou0410
dba某银行
擅长领域: 数据库国产数据库服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-01-09
  • 关注会员:7 人
  • 问题浏览:3050
  • 最近回答:2023-08-21
  • X社区推广