大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:容器 · 2020-07-07
顾黄亮苏宁消费金融有限公司 擅长领域:Redis, 分布式数据库, 数据一致性
52 会员关注
目前很多大数据场景都有这样的问题。在很多企业都有过CDH上云的经历,从过往情况来看,有三个难点,一个是大数据组件的融合,其中包括了 gettyimages/docker-spark与big-data-europe的Hadoop、Hive、HBase,其中版本一定要适配。第二个是创建容器的顺序问题,开启的顺序差异将导致容...(more)
浏览1278
回答2
来自主题:数据库一体机 · 2020-06-09
light_hu86某省金融 擅长领域:银行云管平台, 云平台, 云管平台
10 会员关注
这两种方式可以从性能以及价格等方面进行考虑,如oracle数据库一体机产品,从选择的2种方式就价格及性能等方面进行考虑,若一体机的话产品选择面比较窄,可供选择的厂家不多,若采用全闪存储的话可以从多家厂商中进行选择,特别是对于招投标越来越严的形式下也是比较好的一种方式。...(more)
浏览4757
回答3
来自主题:数据整合 · 2020-06-04
适者生存人工智能(计算机视觉) 擅长领域:分布式存储, 大数据, SVC
388 会员关注
1、数据中台的核心是交换和共享,在对所有业务系统的数据进行统一接入的基础上,梳理数据的业务流程和全生命周期的管理,同时对所有接入的数据的唯一性和准确性等进行质量检测,这样可以对原有的业务系统提供更高的要求,原有的业务系统不需要重点修改2、数据中台应该是技术和业务...(more)
浏览2475
回答3
来自主题:数据治理 · 2020-06-03
Steven99steven 擅长领域:容器云, 微服务, 证券容器云平台
15 会员关注
关于(一),这是很现实的问题.所以数据治理很多人一再强调由高层来主导,这样才能有长期的规划和必须的资源. 中共中央、国务院《关于构建更加完善的要素市场化配置体制机制的意见》中,提到“发挥行业协会商会作用,推动人工智能、可穿戴设备、车联网、物联网等领域数据采集标...(more)
浏览3622
回答2
来自主题:数据查询 · 2020-06-02
Derek20股份制银行
1 会员关注
这是一个很好的问题,不止数据中台,很多涉及历史数据查询的场景都会遇到。数据内容分层和数据组件分级是可以总结出一套明确方法论来指导实践的。笔者在之前的文章中曾经系统的分享过,各位架构师可以查询阅读。这里抛砖引玉,以金融业常见的客户交易明细查询场景为例,说明方法论...(more)
浏览4174
回答3
来自主题:大数据 · 2020-06-01
影像平台与传统大数据平台(结构化、日志等非结构化数据)是否有必要通过统一技术路线构建统一的数据平台,还是单独建设。影像平台可能是存储量大、计算资源相对较小;大数据平台可能相对耗计算资源;是否有必要通过统一的服务来管理所有的数据内容(影像、日志等非结构化数据、结...(more)
浏览1540
回答1
来自主题:大数据 · 2020-06-01
Steven99steven 擅长领域:容器云, 微服务, 证券容器云平台
15 会员关注
完全没问题 先把主数据提取出来,构建数据服务,各个集市都会用得到。每个集市就相当于一个业务应用,有新的集市就可以复用这些主数据服务来构建,实现敏捷,提升效率 当然具体业务需要具体分析,一般原则可以这么理解...(more)
浏览1979
回答1
来自主题:数据治理 · 2020-06-01
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
建立唯一标识,全过程关联链接
浏览2935
回答4
来自主题:数据治理 · 2020-05-27
Steven99steven 擅长领域:容器云, 微服务, 证券容器云平台
15 会员关注
企业主数据 如果理解什么是主数据,就明白中台最最可复用,最最有价值的数据什么,因为它在全局支撑着业务
浏览541
回答1
来自主题:数据治理 · 2020-05-27
Steven99steven 擅长领域:容器云, 微服务, 证券容器云平台
15 会员关注
数据治理,没什么捷径 数据质量是数据治理的结果,要保障数据质量,就尽力把数据治理做好
浏览547
回答1
来自主题:分布式数据库 · 2020-05-27
Dingk张家港行 擅长领域:分布式数据库, TDSQL
5 会员关注
分两部分,一是将批处理交易化,借助于分布式数据库带来的高并发能力,快速批量处理,这方面需要应用支持,像我行的核心日终处理根据分布式特点,采用shardkey进行批次拆分,不同执行器抓取不同数据,任务分配到各个执行器执行,极大的提高了跑批效率。另一部分是传统批处理,批量更新从设计...(more)
浏览3096
回答1
来自主题:云计算 · 2020-05-27
当前是Windows visual studio开发的三维模型做ai分析计算,要迁移上云,如何搭建物美价廉性能稳定的云平台。 Azure成本太高,也不见得兼容性一定好,普通kvm装Windows勉强使用,发挥不出云计算效能,有啥更高效的推荐...(more)
浏览388
来自主题:Prometheus · 2020-05-25
zhangfan13cmbc中国民生银行 擅长领域:Zabbix, Prometheus, 容器云
7 会员关注
我们目前部署在K8S的master节点上,单POD,利用K8S的高可用机制确保服务连续性。历史数据我们是通过zabbix接入推送到KAFKA里,供集中监控数据消费并存储
浏览1509
回答2
来自主题:大数据 · 2020-05-22
邓毓江西农信 擅长领域:存储双活, SVC, 双活数据中心
780 会员关注
海量监控数据的挖掘利用是需要结合实际运用场景才能实现价值最大化的,这里有一张我们运维大数据平台的整体框架图,最底层是海量运维数据接入层,包括各类指标型、日志型、配置型和流程型数据,第二层是数据采集组件层,通过代理及无代理两种方式进行接入数据的采集,第三层是数据总...(more)
浏览1857
回答1
来自主题:大数据 · 2020-05-22
银行一体化监控平台的规划中,如何规划制定各个层面的数据标准?银行生产环境的硬件、系统、应用、数据库等各个层面都会产生大量结构化、非结构化的监控数据,在一体化平台规划中,我们应该如何去标准化这些数据。如果各位老师能结合案例讲下,那再好不过了。或者分享下平台的数据...(more)
浏览1021
回答2
来自主题:Hadoop · 2020-05-19
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
学习没有捷径,多看资料如果有项目有师傅带着一起搞就好了
浏览1115
回答1
来自主题:大数据 · 2020-05-15
cpc1989某保险公司 擅长领域:VPLEX, 存储双活, 银行存储双活
18 会员关注
大数据的存储迁移还是应该更多地从大数据系统层面或者业务层面去找数据迁移的方法,而且数据量庞大和时间窗口不多的现状下,也要考虑规划周全分批分步骤来迁移
浏览2449
回答1
来自主题:数据湖 · 2020-05-13
目前使用较多的是基于hadoop的大数据平台。主流lamdba,kappa架构与数据湖相比在需求、技术、业务领域有什么区别?什么情况下需要将大数据平台改造为数据湖
浏览1245
回答1
来自主题:数据湖 · 2020-05-13
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
[开源数据湖方案选型:Hudi、Delta、Iceberg]
浏览711
回答2
来自主题:数据湖 · 2020-05-13
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
数据湖建设不成功,数据归集、治理、应用有问题,自然就成了沼泽了
浏览1888
回答1