如何简化ETL开发、运维工作？

control -M 也不一定是最好的。
简化运维工作，就要有很完善的测试工作。收起

control -M ETL必须有调度系统收起

我更愿意称这种工程师叫运维工程师，他们其实不真负责ETL，主要负责维护运营。需要开发更多自动化的工具以及监控工具简化运营，这个说来话长了。收起

关键是ETL要有一个好的设计，详细的文档输出，支持集中可视化的运维。而不是一堆分散在各个机器上面的shell和SQL脚本。收起

路过学习收起

1、用于发现问题，比如搜索日志中的错误关键字、邮件、短信提醒
2、优化，这是一个不断 PDCA 的过程，ETL上线后除了常规的监控、运维、体检外，其实还有一项新工作：与DBA、开发人员、系统设计人员一起对于可优化的问题进行讨论, 以备二次开发收起

对于较小的数据仓库系统，每天只需察看系统ETL过程的日志，不需要很长时间。
而对于大型的数据仓库系统，通常需要完整的调度系统作为支撑。除了开发ETL程序，还要定义好数据文件之间的依赖关系（血缘关系），以及ETL服务器负载等，调度系统会按照依赖关系来调度整个ETL过程。
另外，不管是小型还是大型的数据仓库均可以定义出错短信提醒、邮件提醒。提醒相关模块负责人及时地进行错误处理。收起