大数据产品 - 主题 - twt企业IT交流平台

作者：农行研发中心孟洋--1.问题描述当前，我们通过编写HadoopMapReduce程序对来自上游的源数据文件进行贴源预处理加工。源数据文件发到Hadoop集群后，我们的预处理程序会对源数据进行编码转换、数据去重、加时间拉链、数据清洗、错误数据处理等操作，生成贴源的ODS层数据，供上层...(more)

赞同

银行数据中台·2020-07-31

为了保证时效性，实时数仓的数据存储技术应该如何选择？

左右 · ex-IBM　擅长领域：大数据, 商业智能, 联机分析处理

27 会员关注

简单说说我的想法，---- 直接回答题干 ----如果说现有Hive作为数仓，那么性能肯定不能满足查询的，替代方案可以选择MPP数据库，但是由于MPP数据库目前看来还是有软硬件+人员能力限制条件的，基本上也要搞成一个团体作战项目才能摸索出来。你提到的多表关联倒不是什么障碍，建设数...

赞同2

回答7

关注8

证券对象存储·2020-07-20

对于常规的保险行业来说，保险非结构化数据存储技术路线应该如何选择？？

wangguoming · 戴尔科技金融行业解决方案中心　擅长领域：存储, 灾备, 分布式系统

6 会员关注

对于金融保险业的非结构化数据存储选型，一般来说，应当考虑如下因素：1、访问协议。文件访问？对象访问？数据分析？做不做机器学习等等；2、数据量。有多少数据需要存储，增长情况怎么样？还容易被忽略的包括文件大小、目录大小、访问方式（随机/顺序）等等；3、维护量。这一点也经常被拍板的人...

赞同

回答1

关注2

互联网服务Zabbix·2020-04-06

监控工具的选择？

zhuqibs · Adidas　擅长领域：云计算, 服务器, 存储

58 会员关注

不太理解，CDH有自己的监控的工具，为啥要用zabbix的？难道你用的是免费版，都到impala做业务分析了，应该用的是收费版吧？

赞同6

回答5

关注6

能源采矿Redis·2020-04-08

nosql数据库和传统关系库到底啥区别？什么场景下用redis缓存库和PG？

zhuqibs · Adidas　擅长领域：云计算, 服务器, 存储

58 会员关注

长篇大论就不写了，就写几点（1）传统关系型用sql，nosql不用sql（2）传统关系型数据在表中，nosql基本非结构化（3）传统关系型结构修改用sql，nosql结构修改不用sqlredis用于缓存类的数据存储，通常用于记录大量重复的操作，比如点击率，事物性不强pg用于记录交易型事物，事物性强...

赞同7

回答4

关注6

Nginx·2020-06-29

Nginx防火墙自动封禁解封IP(添加redis版本)

dream_653 · *****　擅长领域：云计算, 服务器, 容器云

15 会员关注

ngx_lua_waf是一个高性能的轻量级web应用防火墙，基于lua-nginx-module它具有以下功能：防止sql注入，本地包含，部分溢出，fuzzing测试，xss,SSRF等web攻击防止svn/备份之类文件泄漏防止ApacheBench之类压力测试工具的攻击屏蔽常见的扫描黑客工具，扫描器屏蔽异常的网络请求屏蔽图片附...(more)