大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:数据仓库 · 2019-08-29
王奇阜新银行 擅长领域:实时数仓, 数据仓库, 数据建模
1 会员关注
所谓的实时数仓,最主要的就是当天的数据,银行最重要的是当天的流水。所以更多的需求都应该是银行的流水数据产生的。时时的数据量很少。只有当天或几天的数据(保存几天的数据可以增加容错的机制),各个理解时时数仓关注的应该是指标。而非各种各样的数据。模型也应该是轻量级的...(more)
浏览2154
回答8
来自主题:数据治理 · 3天前
amu0722打毛党 擅长领域:cognos, 商业智能, 数据库
47 会员关注
数据治理工具范畴太大,其实数据治理是从上而下的工作整风运动,跟工具关系不大
浏览826
回答1
来自主题:机器学习 · 2019-09-11
看公司实力吧,如果只是想省事可以购买一套(比如我司的)。如果想针对自己公司的特定的环境的话很可能就得自己开发了。 但是我建议只是研究算法部分就好了,至于数据采集之类的前期工作网上找找开源的就行了。 ...(more)
浏览1070
回答1
来自主题:超融合 · 2018-06-03
yinxin某金融机构 擅长领域:虚拟化, 云计算, 数据库系统
769 会员关注
具体可以参考如下链接中的对比:http://www.talkwithtrend.com/Question/418459
浏览7215
回答1
来自主题:机器学习 · 2019-09-11
机器学习:数据维度很高时,风控模型如何建立和应对高维数据分析?
浏览593
回答1
来自主题:批处理 · 2019-09-09
lxk215313951城市商业银行 擅长领域:数据同步, 双活数据中心, 银行存储双活
12 会员关注
大数据处理,这是hbase等数据库的强项呀,建议选用hadoop平台进行存储、处理,硬件直接堆x86服务器就行,性价比高
浏览1144
回答1
来自主题:软件定义存储 · 2019-02-21
Garyy某保险 擅长领域:容器, docker, Kubernetes
244 会员关注
传统的NAS存储在传统企业中目前仍占据很大的地位,但是由于互联网大数据的兴起,非结构化数据越来越占据主导地位,所以传统NAS无论在scaleout扩展方面,还是运维的方便性,还是使用者的易用性方面,都无法和对象存储相比。云对象存储的实施给企业现有的集中式 SAN 和 NAS 存储带来了...(more)
浏览1132
回答2
来自主题:备份 · 2018-12-04
zrosinessJSRCB 擅长领域:对象存储, 数据迁移, nas(网络附属存储)
17 会员关注
1)对象存储最适合的场景是影像系统。改造难度不大,重点在对对象权限的管理和容量规划2)目前主流的备份软件都已经支持对象存储作为备份的介质,支持对象存储作为目标端压缩和重删等功能。我们正在实施使用对象存储作为备份介质...(more)
浏览1916
回答4
来自主题:大数据 · 5天前
数据库、存储、操作系统、硬件、大数据自主可控产品都有哪些?他们分别有什么优缺点?
浏览637
来自主题:MySQL · 2017-07-31
undefinedundefined 擅长领域:MySQL, MongoDB, 数据库
303 会员关注
看公司性质,如果是传统金融行业,选用oracle,使用非常高配置的机器,毕竟钱不是问题,运维经验也丰富和成熟,还有见识过各种问题的供应商解决问题(背锅),实在不行还能找原厂。互联网行业或者创业公司,规模再大肯定也是mysql,然后各种开源中间件方案等,这个方案,许可免费(有人力成本),修改灵...(more)
浏览6171
回答11
来自主题:机器学习 · 2019-09-10
风控中机器学习模型和传统规则怎么有机结合,一张卡在一段时间内消费两次的离散化和连续化表示是什么,组合特征是否能提高模型的可解释性,如果是,为什么能提高,以及它怎么体现在模型的可解释性上...(more)
浏览833
回答1
来自主题:分布式存储 · 2017-07-12
孙伟光中国金融电子化公司 擅长领域:AIX, SVC, 故障诊断
880 会员关注
请问业务是什么应用场景?现在用的什么存储,每年数据增长很快啊.
浏览6473
回答12
来自主题:大数据 · 2017-06-21
rein07某证券 擅长领域:大数据, 人工智能, 证券大数据平台
284 会员关注
数据源来源于企业内部各种系统数据。数据管理是个非常浩大的工程,主要的工作在于对企业数据的梳理及标准化,我们评估过,这个得整个企业内部各个部门协调。我们曾经在某些系统上做过试点,确实也发现了很多系统元数据定义上的不规范,也形成了一部分标准,但是想让所有系统按照这个...(more)
浏览10232
回答2
来自主题:MySQL · 2017-05-17
bryan金融研发 擅长领域:容器云, paas, docker
248 会员关注
分库分表分区是解决大数据量时的一个分而治之的思路,建议依次考虑的顺序如下1.分区:表分区之后只是引擎存储的工作去保证,对用户相对透明,因为对应用侵入度较低;2.分表:在同一个schema中的多个表,应用可能需要根据业务逻辑去判断业务对应的表,这种情况下单库内路由也相对比较好办...(more)
浏览9695
回答1
来自主题:智能风控 · 2019-09-06
国际银行行业对于智能风控的实施案例有哪些,是否可借鉴?基于的文章理论又有哪些?
浏览1549
回答1
来自主题:智能风控 · 2019-09-06
数据作为智能风控的基础,但是银行行业的数据具有保密性,对外共享的数据有限,而且有些机构是不允许对外发布交易数据,这会导致数据也不全,在数据存在缺陷的条件下,智能风控得出的结论是否具有可参考性?...(more)
浏览1625
回答1
来自主题:人工智能 · 2019-09-06
以智能风控的反欺诈为例,判断用户为存在欺诈行为,如何形成报告对这个结论进行论证,以便更好的对用户进行解说或立案,机器学习的难点之一是如何对结果进行解释,是否足以应对客户的投诉?如果涉及法律问题是否可以作为立案证据?...(more)
浏览1522
回答1
来自主题:数据仓库 · 2019-08-29
匿名用户
我觉得分几步来做:1.数据全部收集到一个数据平台。不管是实时的还是历史的。2.做好数据库的清洗和基础关联,和宽表的建立。3.根据对数据的实时性要求进行分级处理。4.成立每个业务分析团队在款表上做分析。5.分析的数据再返回宽表,并形成数据模型,共以后或其他业务线使用。...(more)
浏览1162
回答2
来自主题:报表 · 2019-09-04
王奇阜新银行 擅长领域:实时数仓, 数据仓库, 数据建模
1 会员关注
我们银行目前也在用FusionInsight大数据平台C8.0版本,实时数据可以放到HBASE里面,用HIVE ON HBASE的方式去处理实时的数据,SPARK SQL处理轻量级别的数据没有问题,大量的数据SPARK SQL 不合适,SPAKR 的计算单元RDD每一个动作都会有一个RDD产生对内存要求很高。...(more)
浏览2112
回答2
来自主题:MySQL · 2019-06-13
shangguanhaiyiustc 擅长领域:MongoDB, hbase, Oracle数据库
8 会员关注
做地市级大数据项目,有能力的是不是上大数据平台,Hadoop平台上面 hbase ,hive 都会用到,结构化数据库推荐用mysql系数据库,成本最小。考虑后期mysql可能闭源,还有MariaDB.oracle,mysql 是结构化数据库mongodb,hbase 是key-value 数据库,非机构化数据库。...(more)
浏览3046
回答7