类比大数据平台,数据ETL是个非常重要且比较有难度的技术点,往往会有人提出数据导的不正常或丢失、数据未正常到达等情况,这个没有较好的解决方法,只能做好监控,尽量保证各个环节正常流转。在运维方面,集群往往面临着查询和存储压力,如何在遇到问题时有效解决或者预警,这也是非常...
显示全部类比大数据平台,数据ETL是个非常重要且比较有难度的技术点,往往会有人提出数据导的不正常或丢失、数据未正常到达等情况,这个没有较好的解决方法,只能做好监控,尽量保证各个环节正常流转。在运维方面,集群往往面临着查询和存储压力,如何在遇到问题时有效解决或者预警,这也是非常有挑战的,可以通过对平台底层的了解,不断对集群进行优化和监控。在开发方面,需要分析人员对业务需求非常了解,才能设计出合理的数据模型,提升数据服务的效率。
收起