MOIA的日志与预警机制好像在文档没有体现出来
MOIA的日志与预警机制好像在文档没有体现出来，而且我觉得产品本身还有很大的提升空间。今天我大概看了一下MOIA这个产品的介绍，根据我多年的经验来大概谈谈这个平台，由于没有使用过，而对平台只是简单了解，有些地方可能说的不太准确，希望不准确的地方给出回复纠正，从而实现双赢。...显示全部
查看其它 9 个回答北京先进数通的回答
非常感谢duzn兄对MOIA的关注。
这里先解释一下关于MOIA的调度机制以及与DS的集成原理：
1.MOIA的调度机制
MOIA当前的版本是MOIA Control 5.02，之前的4.4版本是2008年左右退出的，目前除了老用户外基本不再使用。
MOIA Control 的引擎继承了4.4版本的优点，能够基于事件对象进行高效率的调度流程计算，同时也对产品的应用架构做了优化：执行端不再访问资料库，而是通过服务端发起的Socket通信实现对执行端的控制及信息交互，精简了执行端的服务，执行端所消耗的资源更小，效率也更高。
对于调度过程，MOIA是有自己的调度算法，大体可概括为 物理资源管理+逻辑资源管理+队列控制+动态调度控制+调度对象识别
比如说duzn兄所提到的队列，在MOIA中体现的是多类队列，如待处理队列、待分配队列、处理队列等，根据作业的优先级、逻辑资源消耗量以及ETL服务器集群的物理资源实际情况、逻辑资源情况等综合动态来对作业进行排队处理。这一点是DS的Operation Console的简单队列所无法比拟的。
另外需要说明的是，MOIA的资源管理和作业的执行分配，除了单机作业外，更多考虑的是面向多台服务器的集群环境，因此需要考虑在一个或多个集群中如何最合理、资源最优化、效率最高地将作业分配给最适合的服务器，对于DS作业，更可以根据实际的需要来对单一的DS作业进行单机或多机的资源分配，充分实现DS的多节点并发能力和MPP的集群应用能力。
而对于作业的状态来说,MOIA也会有多种判断机制，像duzn所提及，若某单实例作业已经runing中(未通过MOIA调起)，那么在调度时会有错误状态提示并且在MOIA中将其置为错误状态，当然，若需要该作业自动重运行，那么可以在调度属性中加以配置，当作业被调起后发生错误时，会按照实际的重做属性按照指定的时间间隔对其进行重新调度，并会在重新调度时按照作业的流程自动提升优先级进行插队处理。
当然，如果详细讨论调度原理的话，可能是一个很长的内容了，这里只是简单的来说一下。
2.MOIA对DS的调度机制
MOIA Control对DS的调度既可通过API也可使用CMD，可以通过配置属性来自行调整，当然，默认情况下是使用DSAPI。对于DS多实例方面，可以充分应用DS的多node机制，单机或多机运行job。同时，在易用性方面，MOIA Control集成了4.4版本自动获取DS对象的特性，仅通过点击的方式方便用户简单方便地将DS作业配置在MOIA控制台中。
另外，还可以灵活针对DS的资源项进行文件系统管理，比如可以直接在MOIA中分配Scratch，将缓存指定到SSD上以提升DS的执行效率。
3.MOIA的主要功能特性
MOIA的主要功能是对可执行程序或应用进行调度，并实现服务器资源管理、调度流程管理、动态负载均衡等功能，同时针对平台的用户管理、对象管理等加以合理有效的权限、角色、有效性等控制；而在运维方面，MOIA重点突出简化运维工作的功能，诸如自动重做、自动坏节点退出等功能可以解放运维人员的手工工作，通过短信、邮件、声音等报警功能，更可以向运维人员发出即时的报警信息。
4.MOIA对应用的集成
目前MOIA深度继承了DS，而对于其他的ETL产品，MOIA主要通过CMD的方式进行支持。当然，随着研发的进展，MOIA将会进一步加强产品集成，包括Informatica在内的主流工具都将以API的接口深度集成在MOIA中。
目前在大数据产品环境下，MOIA已经向前迈出了一步，已经开始了大数据产品的集成研发，在国内与华为大数据产品达成了深度合作的意向，并已有实际项目案例。
这里先解释一下关于MOIA的调度机制以及与DS的集成原理：
1.MOIA的调度机制
MOIA当前的版本是MOIA Control 5.02，之前的4.4版本是2008年左右退出的，目前除了老用户外基本不再使用。
MOIA Control 的引擎继承了4.4版本的优点，能够基于事件对象进行高效率的调度流程计算，同时也对产品的应用架构做了优化：执行端不再访问资料库，而是通过服务端发起的Socket通信实现对执行端的控制及信息交互，精简了执行端的服务，执行端所消耗的资源更小，效率也更高。
对于调度过程，MOIA是有自己的调度算法，大体可概括为 物理资源管理+逻辑资源管理+队列控制+动态调度控制+调度对象识别
比如说duzn兄所提到的队列，在MOIA中体现的是多类队列，如待处理队列、待分配队列、处理队列等，根据作业的优先级、逻辑资源消耗量以及ETL服务器集群的物理资源实际情况、逻辑资源情况等综合动态来对作业进行排队处理。这一点是DS的Operation Console的简单队列所无法比拟的。
另外需要说明的是，MOIA的资源管理和作业的执行分配，除了单机作业外，更多考虑的是面向多台服务器的集群环境，因此需要考虑在一个或多个集群中如何最合理、资源最优化、效率最高地将作业分配给最适合的服务器，对于DS作业，更可以根据实际的需要来对单一的DS作业进行单机或多机的资源分配，充分实现DS的多节点并发能力和MPP的集群应用能力。
而对于作业的状态来说,MOIA也会有多种判断机制，像duzn所提及，若某单实例作业已经runing中(未通过MOIA调起)，那么在调度时会有错误状态提示并且在MOIA中将其置为错误状态，当然，若需要该作业自动重运行，那么可以在调度属性中加以配置，当作业被调起后发生错误时，会按照实际的重做属性按照指定的时间间隔对其进行重新调度，并会在重新调度时按照作业的流程自动提升优先级进行插队处理。
当然，如果详细讨论调度原理的话，可能是一个很长的内容了，这里只是简单的来说一下。
2.MOIA对DS的调度机制
MOIA Control对DS的调度既可通过API也可使用CMD，可以通过配置属性来自行调整，当然，默认情况下是使用DSAPI。对于DS多实例方面，可以充分应用DS的多node机制，单机或多机运行job。同时，在易用性方面，MOIA Control集成了4.4版本自动获取DS对象的特性，仅通过点击的方式方便用户简单方便地将DS作业配置在MOIA控制台中。
另外，还可以灵活针对DS的资源项进行文件系统管理，比如可以直接在MOIA中分配Scratch，将缓存指定到SSD上以提升DS的执行效率。
3.MOIA的主要功能特性
MOIA的主要功能是对可执行程序或应用进行调度，并实现服务器资源管理、调度流程管理、动态负载均衡等功能，同时针对平台的用户管理、对象管理等加以合理有效的权限、角色、有效性等控制；而在运维方面，MOIA重点突出简化运维工作的功能，诸如自动重做、自动坏节点退出等功能可以解放运维人员的手工工作，通过短信、邮件、声音等报警功能，更可以向运维人员发出即时的报警信息。
4.MOIA对应用的集成
目前MOIA深度继承了DS，而对于其他的ETL产品，MOIA主要通过CMD的方式进行支持。当然，随着研发的进展，MOIA将会进一步加强产品集成，包括Informatica在内的主流工具都将以API的接口深度集成在MOIA中。
目前在大数据产品环境下，MOIA已经向前迈出了一步，已经开始了大数据产品的集成研发，在国内与华为大数据产品达成了深度合作的意向，并已有实际项目案例。