如何通过自动化完成数据管理(磁盘监控、数据迁移等)工作

大家好,初次涉足存储数据管理领域,想向大家咨询个问题:

环境描述: 我们公司有一套EMC的存储,大概120TB, 这个存储主要用于存储“科学计算”所产生的计算文件, 一个完整的计算,可能会生产高达2~3TB的数据,所以存储用的很快,对于这套存储系统,我需要做的是:

1. 监控各个磁盘卷的使用情况

2. 在磁盘卷到达警戒值时,将磁盘中的不再使用的数据转移至本地磁盘或其他存储中。

目前这份工作的难点在于,我在转移一部分数据之前,必须与用户确认是否可以转移,才能进行转移(也就是说我们现在没有一个衡量标准,可以让计算机来识别这个文件是否可以进行转移)。

第二点是,在对一个完整计算的数据进行转移时,数据量太大,传输速度缓慢,效率低下。

第三点是,仅保留载荷计算的最终结果文件时,需要将其中某些类型的文件排除掉,再进行转移。


所以我的问题是:

大家有没有什么好的方法可以自动化的实现以上需求?有没有什么工具可以实现这些功能呢?

有什么方法可以排除不需要的文件,仅备份其余类型的文件呢?

----------------------------------------------------------------------------------------------

我又有了一些新的想法;

我们可以通过制定一些标准来规范化用户的行为,用项目管理的理念来管理用户的计算任务,给用户提供一个接口,可以使用户自己创建任务,定义结束时间,在即将完成时,由系统来发起邮件与用户确认,是否完成,是否可以做备份转移(这些都可以做到模板里),用户确认后自动执行备份任务。通过触发性的脚本任务来完成数据转移。

现在需要考虑的是,有什么产品可以支撑我这个想法呢,大家有其他思路么?

参与8

3同行回答

perry_liperry_li  产品总监 , 成都优易数据有限公司
对于楼主的问题,我个人的看法是没有办法直接通过存储层面来完全,有且仅有通过操作系统层面相应的工具或软件来完成,当然也可以配合一些脚本来实现。显示全部

对于楼主的问题,我个人的看法是没有办法直接通过存储层面来完全,有且仅有通过操作系统层面相应的工具或软件来完成,当然也可以配合一些脚本来实现。

收起
互联网服务 · 2017-02-24
浏览1758
  • 我很赞同您的说法,我们现在是通过一些自己开发的小工具来实现的,目前的问题就是沟通成本太高,用户与IT的信息不对称导致效率低下。如果能将其规范化,流程化,自动化的话,会高效很多
    2017-03-02
芊芊细羽芊芊细羽  系统工程师 , AC
[此回答已删除]
浏览1314
woshihaiwoshihai  系统运维工程师 , rl
持续关注下显示全部

持续关注下

收起
互联网服务 · 2017-02-24
浏览1632

提问者

芊芊细羽
系统工程师AC

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-02-23
  • 关注会员:3 人
  • 问题浏览:4084
  • 最近回答:2017-03-02
  • X社区推广