金融行业数据文件推送架构的选择?

金融业务中推数和拉数的场景很多,尤其是跨业务,跨平台等情况,请教一下要如何设计一个数据中转平台,既能保证数据传输的效率,又要保证中转平台的健壮性?
如果选用ftp集群,采用什么样的存储架构更优? 是NAS 还是 主机集群?或者其他架构?

参与12

3同行回答

jekojeko系统工程师某省农信
数据文件跨平台的推送也是数据中心里面一个典型的文件共享存储场景。通常是数据中心会有一个数仓平台,负责采集各个业务平台的供述然后进行批处理,处理结束之后把数据存储在共享存储介质上,由其他需要的业务平台来读取。对于我行,数仓平台经历过数整系统、ODS 系统到现在的...显示全部

数据文件跨平台的推送也是数据中心里面一个典型的文件共享存储场景。通常是数据中心会有一个数仓平台,负责采集各个业务平台的供述然后进行批处理,处理结束之后把数据存储在共享存储介质上,由其他需要的业务平台来读取。
对于我行,数仓平台经历过数整系统、ODS 系统到现在的大数据平台,它们每日处理的数据结果提供到其他业务平台使用,采用的是NAS作为共享存储平台。
采用NAS方案有几个优点,第一,批处理结果直接存储到NAS文件系统目录中,其他业务系统直接到对应目录下读取,应用程序无需特殊改造。第二,大量文件存储是比较适合NAS方案的。第三,NAS的双活等高可用架构可以使用存储架构的稳定和安全。
当然也有几个地方需要注意:第一是NAS文件系统多个系统访问,需要设计好文件目录宿主和权限;第二,对于NAS服务端的带宽设计需要足够大,建议采用4-8个10Ge端口绑定。

收起
银行 · 2022-11-09
浏览725
数据共享平台是很多银行的必备选择,尤其是涉及大机的头部银行,都需要一个高速数据共享平台实现大机数据和开放平台数据的清洗、缓冲、转码;目前都是采用NFS标准协议对接,操作系统自带协议客户端,成熟稳定、性能更好。...显示全部

数据共享平台是很多银行的必备选择,尤其是涉及大机的头部银行,都需要一个高速数据共享平台实现大机数据和开放平台数据的清洗、缓冲、转码;目前都是采用NFS标准协议对接,操作系统自带协议客户端,成熟稳定、性能更好。

收起
互联网服务 · 2022-11-10
浏览663
奔跑的蜗牛奔跑的蜗牛高级软件开发工程师武汉家事易农业科技有限公司
用大 数据 平台自带的 数据 采集组件Flume、Kafka、Sqoop, 同时结合第三方采集工具,如CDC、OGG、FTP,兼容各种 数据 源,包括流式 数据 (业务消息流/日志消息流等),磁盘 文件 ,各种数据库等 。显示全部

用大 数据 平台自带的 数据 采集组件Flume、Kafka、Sqoop, 同时结合第三方采集工具,如CDC、OGG、FTP,兼容各种 数据 源,包括流式 数据 (业务消息流/日志消息流等),磁盘 文件 ,各种数据库等 。

收起
软件开发 · 2022-11-11
浏览657

提问者

black_fish
存储工程师北方某农商行

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-11-05
  • 关注会员:4 人
  • 问题浏览:1409
  • 最近回答:2022-11-11
  • X社区推广