如何通过自动化完成数据管理(磁盘监控、数据迁移等)工作

大家好,初次涉足存储数据管理领域,想向大家咨询个问题:环境描述: 我们公司有一套EMC的存储,大概120TB, 这个存储主要用于存储“科学计算”所产生的计算文件, 一个完整的计算,可能会生产高达2~3TB的数据,所以存储用的很快,对于这套存储系统,我需要做的是:1. 监控各个磁盘卷的使用情况2...显示全部

大家好,初次涉足存储数据管理领域,想向大家咨询个问题:

环境描述: 我们公司有一套EMC的存储,大概120TB, 这个存储主要用于存储“科学计算”所产生的计算文件, 一个完整的计算,可能会生产高达2~3TB的数据,所以存储用的很快,对于这套存储系统,我需要做的是:

1. 监控各个磁盘卷的使用情况

2. 在磁盘卷到达警戒值时,将磁盘中的不再使用的数据转移至本地磁盘或其他存储中。

目前这份工作的难点在于,我在转移一部分数据之前,必须与用户确认是否可以转移,才能进行转移(也就是说我们现在没有一个衡量标准,可以让计算机来识别这个文件是否可以进行转移)。

第二点是,在对一个完整计算的数据进行转移时,数据量太大,传输速度缓慢,效率低下。

第三点是,仅保留载荷计算的最终结果文件时,需要将其中某些类型的文件排除掉,再进行转移。


所以我的问题是:

大家有没有什么好的方法可以自动化的实现以上需求?有没有什么工具可以实现这些功能呢?

有什么方法可以排除不需要的文件,仅备份其余类型的文件呢?

----------------------------------------------------------------------------------------------

我又有了一些新的想法;

我们可以通过制定一些标准来规范化用户的行为,用项目管理的理念来管理用户的计算任务,给用户提供一个接口,可以使用户自己创建任务,定义结束时间,在即将完成时,由系统来发起邮件与用户确认,是否完成,是否可以做备份转移(这些都可以做到模板里),用户确认后自动执行备份任务。通过触发性的脚本任务来完成数据转移。

现在需要考虑的是,有什么产品可以支撑我这个想法呢,大家有其他思路么?

收起
参与8

查看其它 2 个回答woshihai的回答

woshihaiwoshihai系统运维工程师rl

持续关注下

互联网服务 · 2017-02-24
浏览1652

回答者

woshihai
系统运维工程师rl
擅长领域: 服务器系统管理系统监控

woshihai 最近回答过的问题

回答状态

  • 发布时间:2017-02-24
  • 关注会员:3 人
  • 回答浏览:1652
  • X社区推广