大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:Zabbix · 2020-04-06
zhuqibsMcd 擅长领域:Oracle, OpenStack, ceph
18 会员关注
不太理解,CDH有自己的监控的工具,为啥要用zabbix的? 难道你用的是免费版,都到impala做业务分析了,应该用的是收费版吧?
浏览1488
回答4
来自主题:PostgreSQL · 2020-04-08
zhuqibsMcd 擅长领域:Oracle, OpenStack, ceph
18 会员关注
长篇大论就不写了,就写几点(1)传统关系型用sql,nosql不用sql(2)传统关系型数据在表中,nosql基本非结构化(3)传统关系型结构修改用sql,nosql结构修改不用sql redis用于缓存类的数据存储,通常用于记录大量重复的操作,比如点击率,事物性不强pg用于记录交易型事物,事物性强...(more)
浏览2066
回答4
来自主题:数据库一体机 · 2020-06-09
light_hu86某省金融 擅长领域:银行云管平台, 云平台, 云管平台
10 会员关注
这两种方式可以从性能以及价格等方面进行考虑,如oracle数据库一体机产品,从选择的2种方式就价格及性能等方面进行考虑,若一体机的话产品选择面比较窄,可供选择的厂家不多,若采用全闪存储的话可以从多家厂商中进行选择,特别是对于招投标越来越严的形式下也是比较好的一种方式。...(more)
浏览4602
回答3
来自主题:数据查询 · 2020-06-02
Derek20股份制银行
1 会员关注
这是一个很好的问题,不止数据中台,很多涉及历史数据查询的场景都会遇到。数据内容分层和数据组件分级是可以总结出一套明确方法论来指导实践的。笔者在之前的文章中曾经系统的分享过,各位架构师可以查询阅读。这里抛砖引玉,以金融业常见的客户交易明细查询场景为例,说明方法论...(more)
浏览4159
回答3
来自主题:大数据 · 2020-05-22
银行一体化监控平台的规划中,如何规划制定各个层面的数据标准?银行生产环境的硬件、系统、应用、数据库等各个层面都会产生大量结构化、非结构化的监控数据,在一体化平台规划中,我们应该如何去标准化这些数据。如果各位老师能结合案例讲下,那再好不过了。或者分享下平台的数据...(more)
浏览1018
回答2
来自主题:大数据 · 2020-05-22
邓毓江西农信 擅长领域:存储双活, SVC, 双活数据中心
779 会员关注
海量监控数据的挖掘利用是需要结合实际运用场景才能实现价值最大化的,这里有一张我们运维大数据平台的整体框架图,最底层是海量运维数据接入层,包括各类指标型、日志型、配置型和流程型数据,第二层是数据采集组件层,通过代理及无代理两种方式进行接入数据的采集,第三层是数据总...(more)
浏览1852
回答1
来自主题:Prometheus · 2020-05-25
zhangfan13cmbc中国民生银行 擅长领域:Zabbix, Prometheus, 容器云
7 会员关注
我们目前部署在K8S的master节点上,单POD,利用K8S的高可用机制确保服务连续性。历史数据我们是通过zabbix接入推送到KAFKA里,供集中监控数据消费并存储
浏览1500
回答2
来自主题:分布式数据库 · 2020-05-27
Dingk张家港行 擅长领域:分布式数据库, TDSQL
5 会员关注
分两部分,一是将批处理交易化,借助于分布式数据库带来的高并发能力,快速批量处理,这方面需要应用支持,像我行的核心日终处理根据分布式特点,采用shardkey进行批次拆分,不同执行器抓取不同数据,任务分配到各个执行器执行,极大的提高了跑批效率。另一部分是传统批处理,批量更新从设计...(more)
浏览3084
回答1
来自主题:大数据 · 2020-05-15
cpc1989某保险公司 擅长领域:VPLEX, 存储双活, 银行存储双活
18 会员关注
大数据的存储迁移还是应该更多地从大数据系统层面或者业务层面去找数据迁移的方法,而且数据量庞大和时间窗口不多的现状下,也要考虑规划周全分批分步骤来迁移
浏览2442
回答1
来自主题:数据湖 · 2020-05-13
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
数据湖建设不成功,数据归集、治理、应用有问题,自然就成了沼泽了
浏览1882
回答1
来自主题:实施 · 2020-05-13
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
数据存储规划数据治理规划数据应用规划
浏览2226
回答2
来自主题:大数据生命周期管理 · 2020-04-24
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
按照数据生命周期划分几个阶段:生产传输存储分析使用注销在这个全生命周期的管理过程中,定义每个阶段的规范标准
浏览1822
回答1
来自主题:数据库 · 2020-04-24
zhuqibsMcd 擅长领域:Oracle, OpenStack, ceph
18 会员关注
目前的高并发又考虑隔离的场合都是这么做的,要求极高的程序效率。
浏览2239
回答2
来自主题:Redis · 2020-04-24
youki2008DDT 擅长领域:Linux, 数据库, Zabbix
36 会员关注
1.. 配合关系型数据库做高速缓存 缓存高频次访问的数据,降低数据库io 分布式架构,做session共享 2.. 可以持久化特定数据,例如: 利用zset类型可以存储排行榜 利用list的自然时间排序存储最新n个数据...(more)
浏览6511
回答2
来自主题:Redis · 2020-05-05
问题:1.两套redis集群,一个做主集群,一个是备用集群。当主的整个集群不可用了,如何切换到备用的集群?2.主的集群和备用集群如何做数据同步?当前开发环境:当前是使用python语言做后台开发。...(more)
浏览4484
回答1
来自主题:技术路线选型 · 2020-05-06
xclu_csdccsdc 擅长领域:数据湖
首先明确业务场景,其次进行市场调研,学习同行业类似场景的解决方案,再次,和厂商进行交流,最后,结合业务场景和企业本身的技术要求进行poc测试。
浏览1680
回答2
来自主题:数据加密 · 2020-04-22
潘延晟第十区。散人 擅长领域:数据备份, 备份, TSM
492 会员关注
按你说的要求。我觉得不会有免费的解决方案,毕竟敏感涉及到敏感数据的行业不多。免费的解决方案也肯定无法适用在这样特殊的行业中,真的有免费的。产生问题的时候也会有很多责任问题。所以我觉得不要考虑免费的解决方案。做数据加密的行业中。接触的不多。之前做分保找过北...(more)
浏览5402
回答6
来自主题:数据仓库 · 2020-05-06
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
在处理非结构化数据的技术方面,区别较大,数据仓库主要面向结构化数据
浏览2364
回答2
来自主题:应用场景 · 2020-05-06
李静XSKY 擅长领域:分布式存储, 软件定义存储
11 会员关注
常规理解数据湖的就是一个海量空间,可以包容所有数据和应用,提供所需的所有接口,按需分配,自动精简配置。首先适合的是私有云平台,现阶段金融行业虚拟化的普及率很高,除了一些重载数据库,大部分应用都适合上虚拟化,所有私有云肯定是适合的应用。第二是无纸化办公,针对现阶段双录系...(more)
浏览2341
回答3
来自主题:大数据 · 2020-05-06
zftang0809合肥华宇随身软件 擅长领域:Oracle, 数据库, 容器
9 会员关注
关系型数据库选择上有歧义
浏览5318
回答3