大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:容器 · 2天前
顾黄亮苏宁消费金融有限公司 擅长领域:Redis, 分布式数据库, 数据一致性
52 会员关注
目前很多大数据场景都有这样的问题。在很多企业都有过CDH上云的经历,从过往情况来看,有三个难点,一个是大数据组件的融合,其中包括了 gettyimages/docker-spark与big-data-europe的Hadoop、Hive、HBase,其中版本一定要适配。第二个是创建容器的顺序问题,开启的顺序差异将导致容...(more)
浏览441
回答1
来自主题:大数据 · 2017-07-31
undefinedundefined 擅长领域:MySQL, MongoDB, 数据库
346 会员关注
看公司性质,如果是传统金融行业,选用oracle,使用非常高配置的机器,毕竟钱不是问题,运维经验也丰富和成熟,还有见识过各种问题的供应商解决问题(背锅),实在不行还能找原厂。互联网行业或者创业公司,规模再大肯定也是mysql,然后各种开源中间件方案等,这个方案,许可免费(有人力成本),修改灵...(more)
浏览10729
回答12
来自主题:Zabbix · 2017-06-06
李承轩某某公司 擅长领域:Zabbix, 监控, 存储监控
328 会员关注
开源的优点就是开放, 二次开发, 接口丰富, 监控方式全面; 缺点也很明显, 图形展示功能较为单一(可以暂时借助grafana); 目前无法做到秒级监控(据说3.4会改善); 补充一点, 监控系统其实要求操作人员的技术水平很丰富且全面, 需要熟悉被监控对象, 已经具备一定的开发能力....(more)
浏览19786
回答9
来自主题:数据库一体机 · 2020-06-09
light_hu86某省金融 擅长领域:银行云管平台, 云平台, 云管平台
10 会员关注
这两种方式可以从性能以及价格等方面进行考虑,如oracle数据库一体机产品,从选择的2种方式就价格及性能等方面进行考虑,若一体机的话产品选择面比较窄,可供选择的厂家不多,若采用全闪存储的话可以从多家厂商中进行选择,特别是对于招投标越来越严的形式下也是比较好的一种方式。...(more)
浏览4530
回答3
来自主题:Prometheus · 2020-05-25
zhangfan13cmbc中国民生银行 擅长领域:Zabbix, Prometheus, 容器云
7 会员关注
我们目前部署在K8S的master节点上,单POD,利用K8S的高可用机制确保服务连续性。历史数据我们是通过zabbix接入推送到KAFKA里,供集中监控数据消费并存储
浏览1493
回答2
来自主题:应用场景 · 2018-10-18
rein07某证券 擅长领域:深度学习, 大数据, 人工智能
375 会员关注
数据采集是做大数据分析的第一环,也是非常重要的一环,为上层应用不断地提供数据养料。做大数据分析常用的数据来源包括以下几种:1) 日志文件2) 数据库3) 网页4) APP不同的数据源使用的采集技术和工具是不同的:1) 日志文件日志文件常用的采集工具有Flume、Logstash、FileBeat...(more)
浏览7582
回答3
来自主题:Redis · 2020-04-14
zhuqibsMcd 擅长领域:Oracle, OpenStack, ceph
18 会员关注
(1) Redis作为缓存,在业务繁忙的时候,发生故障,是会影响业务的。因为redis无法访问,负载将直接穿透,压在数据库上,造成对数据库性能的压力。(2)Redis上的数据,都是基于数据库的,redis的故障,并不会影响数据的完整性,所以,非业务繁忙时间段发生故障,一般问题不大。...(more)
浏览5538
回答5
来自主题:数据加密 · 2020-04-22
潘延晟第十区。散人 擅长领域:数据备份, 备份, TSM
492 会员关注
按你说的要求。我觉得不会有免费的解决方案,毕竟敏感涉及到敏感数据的行业不多。免费的解决方案也肯定无法适用在这样特殊的行业中,真的有免费的。产生问题的时候也会有很多责任问题。所以我觉得不要考虑免费的解决方案。做数据加密的行业中。接触的不多。之前做分保找过北...(more)
浏览5325
回答6
来自主题:Redis · 2020-04-24
youki2008DDT 擅长领域:Linux, 数据库, Zabbix
35 会员关注
1.. 配合关系型数据库做高速缓存 缓存高频次访问的数据,降低数据库io 分布式架构,做session共享 2.. 可以持久化特定数据,例如: 利用zset类型可以存储排行榜 利用list的自然时间排序存储最新n个数据...(more)
浏览6460
回答2
来自主题:Redis · 2019-04-28
顾黄亮苏宁消费金融有限公司 擅长领域:Redis, 分布式数据库, 数据一致性
52 会员关注
3.2大版本比较稳定,我们用的是3.2.8
浏览2764
回答2
来自主题:数据隔离 · 2020-04-17
zhuqibsMcd 擅长领域:Oracle, OpenStack, ceph
18 会员关注
(1)首先统一的redis中心是很“技术”,  因为你要一个强大的技术人员或团队;(2)为了保证一致性,redis cluster读取数据是从master上读取数据的,这样可以保证数据的一致性,当然,性能也就差了; redis 主从模式,写master节点,异步同步slave节点,读从slave上读取数据,读性能提高了,但一致...(more)
浏览4179
回答3
来自主题:大数据 · 2017-07-12
孙伟光中国金融电子化公司 擅长领域:AIX, SVC, 故障诊断
970 会员关注
请问业务是什么应用场景?现在用的什么存储,每年数据增长很快啊.
浏览8718
回答14
来自主题:Redis · 2020-05-05
问题:1.两套redis集群,一个做主集群,一个是备用集群。当主的整个集群不可用了,如何切换到备用的集群?2.主的集群和备用集群如何做数据同步?当前开发环境:当前是使用python语言做后台开发。...(more)
浏览4478
回答1
来自主题:大数据 · 2017-06-21
rein07某证券 擅长领域:深度学习, 大数据, 人工智能
375 会员关注
数据源来源于企业内部各种系统数据。数据管理是个非常浩大的工程,主要的工作在于对企业数据的梳理及标准化,我们评估过,这个得整个企业内部各个部门协调。我们曾经在某些系统上做过试点,确实也发现了很多系统元数据定义上的不规范,也形成了一部分标准,但是想让所有系统按照这个...(more)
浏览12503
回答2
来自主题:MySQL · 2017-05-17
bryan金融研发 擅长领域:容器云, paas, docker
287 会员关注
分库分表分区是解决大数据量时的一个分而治之的思路,建议依次考虑的顺序如下1.分区:表分区之后只是引擎存储的工作去保证,对用户相对透明,因为对应用侵入度较低;2.分表:在同一个schema中的多个表,应用可能需要根据业务逻辑去判断业务对应的表,这种情况下单库内路由也相对比较好办...(more)
浏览11686
回答1
来自主题:Hadoop · 2017-06-20
美国队长Alibaba 擅长领域:大数据, Hadoop, spark
351 会员关注
题目应该是hive on spark 另外你这个异常可能是hive跟spark的版本不一致的原因,建议你看一下你的hive源码中的pom.xml里面依赖的spark是什么版本的
浏览7766
回答5
来自主题:ceph · 2019-04-19
wanggeng某银行 擅长领域:自动化运维, ceph, 分布式存储
303 会员关注
Hadoop HDFS(大数据分布式文件系统)Hadoop分布式文件系统(HDFS)是一个分布式文件系统,适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括:容...(more)
浏览4973
回答5
来自主题:Redis · 2019-03-27
undefinedundefined 擅长领域:MySQL, MongoDB, 数据库
346 会员关注
首先否定redis,这只是一种缓存,而且数据量不能太大其次否定mongodb,因为mongodb主要还是存类json数据。gridfs只是针对小数据量的变通方案,不建议用在大量数据的情况下,否则不好维护。 这种大文件、碎文件建议用以下方案:由于数据量大可能后期会用到分布式存储(块存储、对象存储...(more)
浏览3582
回答6
来自主题:PostgreSQL · 2020-04-08
zhuqibsMcd 擅长领域:Oracle, OpenStack, ceph
18 会员关注
长篇大论就不写了,就写几点(1)传统关系型用sql,nosql不用sql(2)传统关系型数据在表中,nosql基本非结构化(3)传统关系型结构修改用sql,nosql结构修改不用sql redis用于缓存类的数据存储,通常用于记录大量重复的操作,比如点击率,事物性不强pg用于记录交易型事物,事物性强...(more)
浏览2042
回答4
来自主题:Redis · 2017-05-03
undefinedundefined 擅长领域:MySQL, MongoDB, 数据库
346 会员关注
Twemproxy: QQ图片20170503171412.png 多个同构twemproxy(配置相同)同时工作, 接受客户端的请求,根据hash算法,转发给对应的redis。 优点: 开发简单,对应用几乎透明 历史悠久,方案成熟 缺点: 代理影响性能 lvs和twemproxy会有节点性能瓶颈 redis扩容非常麻烦 twitter内...(more)
浏览16524
回答1