如何应用容器化技术对传统数据仓库进行改造和优化?

如何应用容器化技术对传统的数据仓库及数仓应用进行改造和优化?我们目前使用的数据库环境不断更新,从传统的DB2,Oracle,迁移到MPP,Hive等,但数据的提取,加工和开放使用,还是沿用传统的ETL加工,Portal库+报表展现的方式。请问容器化技术能够应用在哪个环节,能否用于提高数据层的处理...显示全部

如何应用容器化技术对传统的数据仓库及数仓应用进行改造和优化?我们目前使用的数据库环境不断更新,从传统的DB2,Oracle,迁移到MPP,Hive等,但数据的提取,加工和开放使用,还是沿用传统的ETL加工,Portal库+报表展现的方式。
请问容器化技术能够应用在哪个环节,能否用于提高数据层的处理能力上,或只能够用于数据应用和数据开放环节呢?以及能够带来的优势有哪些?

收起
参与13

查看其它 2 个回答郭维的回答

郭维郭维  项目经理 , 广东联通

数据主要有三种处理方式:
1)官方数据处理:
提供基础的数据处理服务,包括但不限于图片的转码、水印、原图保护、防盗链等,以及音视频的转码、切片和拼接等。
2)自定义数据处理:允许用户构建、上传自定义的私有数据处理服务,并无缝对接七牛云存储上的数据以及其他数据处理服务。
3)第三方数据处理:一个开放的应用平台,提供大量功能丰富的第三方数据处理服务,比如图片鉴黄、人脸识别、广告过滤、语言翻译、TTS 等。
针对这些数据,我们可以通过增加队列,限流,合理使用IO和CPU等等方式进行绣花优化。容器在这些方面,都已经有了比较多的操作实践。

软件开发 · 2020-04-02
浏览2138

回答者

郭维
项目经理广东联通
擅长领域: 云计算容器容器云

郭维 最近回答过的问题

回答状态

  • 发布时间:2020-04-02
  • 关注会员:4 人
  • 回答浏览:2138
  • X社区推广