NAS文件系统迁移完成后的数据校验如何有效进行?

NAS文件系统迁移完成后的数据校验基本依赖于操作系统COPY或者rsync命令,也就是只能信任系统是正常工作的。人工无法进行完整的校验,只能抽查。希望同业专家可以分享NAS文件系统迁移完成后的数据校验如何有效进行?

参与31

5同行回答

czjingczjing系统运维工程师运维
nas文件系统迁移后的数据较检主要考虑通过哪种方式实现,一般的数据较检可以有以下几点供参考: 1、采用shell/python脚本计算md5值进行较检(高耗资源、时间长,不推荐)。 2、文件系统使用率,文件系统inode值(属于目测类别,对于不同的文件系统使用率、inode都不准,同样不建议)。3、n...显示全部

nas文件系统迁移后的数据较检主要考虑通过哪种方式实现,一般的数据较检可以有以下几点供参考:
1、采用shell/python脚本计算md5值进行较检(高耗资源、时间长,不推荐)。
2、文件系统使用率,文件系统inode值(属于目测类别,对于不同的文件系统使用率、inode都不准,同样不建议)。
3、nas存储底层同步(在nas存储设备允许的情况该方式推荐,属于文件块级别复制,安全可靠。)
4、rsync方式同步(支持全量、增量复制、支持文件较检功能,推荐),且rsync在NAS切换完成后仍然可继续以不删除目标端的方式同步。
5、随机抽查较检(这个拼运气),实际很少使用

综上:nas文件迁移的较检可选的方式还是较多,主要是依赖文件系统的迁移方式。对于存储级复制的迁移是最稳妥也最安全。如在不同的存储进行迁移建议采用rsync方式,命令自带文件较检算法,以多次同步的方式完成校验。以笔者的经验,一般以多次rsync的同步方式,并多次对比文件数量的方式完成数据的校验。

收起
互联网服务 · 2023-08-16
浏览534
朱向东朱向东课题专家组高级工程师某银行
NAS文件系统迁移建议使用rsync来进行数据同步,以及增量数据的同步,通过rsync可以比对数据的一致性和完整性。同时,可以通过人工统计源端和目的端的迁移数据容量字节数和文件个数来辅助验证。...显示全部

NAS文件系统迁移建议使用rsync来进行数据同步,以及增量数据的同步,通过rsync可以比对数据的一致性和完整性。同时,可以通过人工统计源端和目的端的迁移数据容量字节数和文件个数来辅助验证。

收起
银行 · 2023-08-02
浏览680
袁宏松袁宏松职员贵阳农商银行
一直在和nas打交道,最常用的就是rsync命令,但是一直没有出现过错误,如果使用操作系统自带的nas功能,常用做法分四步;一是rsync命令同步,系统自动根据文件属性来判断是否需要同步。二是抽查一些重要文件夹的文件数量总量。三是新建文件后检查该文件是否同步。四是业务检核以验证...显示全部

一直在和nas打交道,最常用的就是rsync命令,但是一直没有出现过错误,如果使用操作系统自带的nas功能,常用做法分四步;
一是rsync命令同步,系统自动根据文件属性来判断是否需要同步。
二是抽查一些重要文件夹的文件数量总量。
三是新建文件后检查该文件是否同步。
四是业务检核以验证文件的完整性。
如果是专用nas存储之间的迁移,存储一般带有自动检查inode的功能来判断文件是否有差异,但是操作相对繁琐,且存在操作风险,个人更倾向于使用以上四个操作步骤。

收起
银行 · 2023-08-14
浏览544
JAGXUJAGXU存储运维管理ZTZQ
Beyond Compare,验证后,最后做一次增量,然后让用户再从客户端验证,终验,如果业务验证没有问题,就才算是验证完。显示全部

Beyond Compare,验证后,最后做一次增量,然后让用户再从客户端验证,终验,如果业务验证没有问题,就才算是验证完。

收起
IT咨询服务 · 2023-08-07
浏览585
小明同学小明同学存储工程师银行
a、应用层面准备应用层验证数据的手段b、存储端增量同步时会进行数据校验,待应用停机后进行多次增是同步来确认数据同步完整C、对比源端和目的端 inode数是 存储容显来验证数据显示全部

a、应用层面准备应用层验证数据的手段

b、存储端增量同步时会进行数据校验,待应用停机后进行多次增是同步来确认数据同步完整

C、对比源端和目的端 inode数是 存储容显来验证数据

收起
2023-08-09
浏览507

ChatGPT 回答

针对NAS文件系统迁移完成后的数据校验,以下是一些有效的方法:

  1. 使用数据校验工具:可以使用一些专业的数据校验工具,例如md5sum、sha1sum等,对迁移后的数据进行校验。这些工具可以生成一个校验和,用于比较源文件和目标文件是否一致。如果校验和不一致,则说明文件可能已经被损坏或篡改。
  2. 进行比较校验:可以将源文件和目标文件进行比较,检查它们是否完全一致。这可以通过使用一些文件比较工具来实现,例如Beyond Compare、WinMerge等。这些工具可以快速比较两个文件夹或文件的内容,以确定它们是否一致。
  3. 随机抽查校验:可以随机抽查一些文件进行校验,以确保它们已经成功迁移。可以选择一些关键的文件或者文件夹进行抽查,例如财务报表、客户数据等。如果抽查的文件一致,则可以认为整个文件系统已经成功迁移。
  4. 定期备份校验:可以定期备份迁移后的文件系统,并将备份文件进行校验。如果备份文件与源文件一致,则可以认为迁移后的文件系统已经成功备份。同时,备份文件也可以作为恢复数据的来源,以防止数据丢失。

总之,在进行NAS文件系统迁移后,数据校验是非常重要的一步。通过使用专业的数据校验工具、文件比较工具、随机抽查校验和定期备份校验等方法,可以有效地保证数据的完整性和安全性。

提问者

wanggeng
系统运维工程师某银行
擅长领域: 服务器存储数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-08-02
  • 关注会员:7 人
  • 问题浏览:2227
  • 最近回答:2023-08-16
  • X社区推广