大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:超融合 · 2018-06-03
yinxin某金融机构 擅长领域:虚拟化, 云计算, 数据库系统
787 会员关注
具体可以参考如下链接中的对比:http://www.talkwithtrend.com/Question/418459
浏览9256
回答1
来自主题:对象存储 · 2019-02-21
Garyy某保险 擅长领域:容器, docker, Kubernetes
268 会员关注
传统的NAS存储在传统企业中目前仍占据很大的地位,但是由于互联网大数据的兴起,非结构化数据越来越占据主导地位,所以传统NAS无论在scaleout扩展方面,还是运维的方便性,还是使用者的易用性方面,都无法和对象存储相比。云对象存储的实施给企业现有的集中式 SAN 和 NAS 存储带来了...(more)
浏览2351
回答10
来自主题:分布式存储 · 2017-07-12
孙伟光中国金融电子化公司 擅长领域:AIX, SVC, 故障诊断
908 会员关注
请问业务是什么应用场景?现在用的什么存储,每年数据增长很快啊.
浏览7046
回答13
来自主题:MySQL · 2017-07-31
undefinedundefined 擅长领域:MySQL, MongoDB, 数据库
316 会员关注
看公司性质,如果是传统金融行业,选用oracle,使用非常高配置的机器,毕竟钱不是问题,运维经验也丰富和成熟,还有见识过各种问题的供应商解决问题(背锅),实在不行还能找原厂。互联网行业或者创业公司,规模再大肯定也是mysql,然后各种开源中间件方案等,这个方案,许可免费(有人力成本),修改灵...(more)
浏览6790
回答11
来自主题:对象存储 · 2019-11-08
吕作令XSKY 擅长领域:分布式存储, ceph, Ceph OSD
7 会员关注
不建议,建议硬盘直通进操作系统。做2-3副本保障数据安全。 1、如果在底层配置RAID组,把VD给Ceph,只做单副本相当于每个VD一个OSD。在VD出现问题后,由于数据是1副本,会数据丢失风险。2、底层RAID在做数据恢复时,也会影响ceph集群异常3、增加了集群运维难度,增大了集群风险点...(more)
浏览3554
回答3
来自主题:华为 · 2015-03-24
peter1981北京新明星电子技术开发有限公司
3 会员关注
两端的native vlan id要一致
浏览11081
回答3
来自主题:MySQL · 2017-05-17
bryan金融研发 擅长领域:容器云, paas, docker
257 会员关注
分库分表分区是解决大数据量时的一个分而治之的思路,建议依次考虑的顺序如下1.分区:表分区之后只是引擎存储的工作去保证,对用户相对透明,因为对应用侵入度较低;2.分表:在同一个schema中的多个表,应用可能需要根据业务逻辑去判断业务对应的表,这种情况下单库内路由也相对比较好办...(more)
浏览10417
回答1
来自主题:对象存储 · 2017-05-04
TonyWangBY 擅长领域:TSM, Zabbix, 数据库
50 会员关注
再提两个1.用过GPFS,用几台x86搭建的集群,作为OpenStack 的存储节点,后来因为性能问题放弃。2.VSAN vmware 的存储虚拟化产品,因此运维vm存储很适配,支持对特定虚机的存储策略,如副本数。目前新版本应该也可以作为其他的存储...(more)
浏览5890
回答9
来自主题:数据备份 · 2017-10-25
潘延晟第十区。散人 擅长领域:数据备份, 备份, TSM
428 会员关注
目前我们面临这样的问题。海量的细小文件。备份起来效率低下。速度非常慢。似乎现在一个比较有效的方式是对整体磁盘进行镜像备份来提高备份速度,但存在的问题就是无法对文件进行颗粒度的恢复,一旦某个文件出现问题。可能恢复起来就很麻烦。大家还有没有了解的更好的对海量...(more)
浏览5266
回答10
来自主题:分布式存储 · 2019-04-19
wanggeng某银行 擅长领域:自动化运维, ceph, 分布式存储
301 会员关注
Hadoop HDFS(大数据分布式文件系统)Hadoop分布式文件系统(HDFS)是一个分布式文件系统,适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括:容...(more)
浏览3107
回答5
来自主题:Hadoop · 2017-06-20
美国队长Alibaba 擅长领域:大数据, Hadoop, spark
312 会员关注
题目应该是hive on spark 另外你这个异常可能是hive跟spark的版本不一致的原因,建议你看一下你的hive源码中的pom.xml里面依赖的spark是什么版本的
浏览6315
回答5
来自主题:自动化运维 · 2019-10-28
zjwy82bank 擅长领域:自动化运维, 银行自动化运维, CMDB
49 会员关注
首先我表达个人观点,运维数据统一治理并非自动化的先行条件,需要先把运维数据概念的定义以及自动化运维的覆盖范围厘清。我更倾向于配置管理是自动化运维的先决条件。先说说对运维数据的理解,我所认为有几类,一类是描述生产资源的数据即我们常说的配置数据,另一类是生产资源运...(more)
浏览3048
回答9
来自主题:大数据 · 2017-07-03
heraleigniwhalecloud 擅长领域:大数据, 大数据平台, Hadoop
124 会员关注
我们公司目前采用的是开源产品+商用产品,不过使用的CDH也是使用的免费版本,至于这个问题,个人的意见是根据公司投入产出比以及期望来定,如果有很高的要求,并且投入也多,加上开发团队并没有那么“牛”的情况下,我觉得还是用商业的吧。当然,纯属个人意见!...(more)
浏览4906
回答9
来自主题:大数据 · 2017-06-21
rein07某证券 擅长领域:大数据, 人工智能, 证券大数据平台
312 会员关注
数据源来源于企业内部各种系统数据。数据管理是个非常浩大的工程,主要的工作在于对企业数据的梳理及标准化,我们评估过,这个得整个企业内部各个部门协调。我们曾经在某些系统上做过试点,确实也发现了很多系统元数据定义上的不规范,也形成了一部分标准,但是想让所有系统按照这个...(more)
浏览10969
回答2
来自主题:集群 · 2017-04-21
bigdata_user博彦科技 擅长领域:Hadoop, 数据库迁移, 大数据平台
51 会员关注
如果你是用的是Apache的,你的安装目录就是spark的根目录,如果使用的cdh,一般都在opt路径下
浏览7150
回答2
来自主题:数据建模 · 2019-08-29
王奇阜新银行 擅长领域:实时数仓, 数据仓库, 数据建模
1 会员关注
所谓的实时数仓,最主要的就是当天的数据,银行最重要的是当天的流水。所以更多的需求都应该是银行的流水数据产生的。时时的数据量很少。只有当天或几天的数据(保存几天的数据可以增加容错的机制),各个理解时时数仓关注的应该是指标。而非各种各样的数据。模型也应该是轻量级的...(more)
浏览2817
回答8
来自主题:超融合 · 2018-10-24
liqxybankofluoyang 擅长领域:同城双活, 存储双活, SVC
8 会员关注
超融合存储方面使用的是本地磁盘,自身是分布式架构,对于上层数据来说就是多个副本分布在不同的计算节点上,如果这个场景里需要做数据双活,也可以单独使用SVC作为共享存储构建双活环境。...(more)
浏览3150
回答6
来自主题:大数据 · 2017-07-05
美国队长Alibaba 擅长领域:大数据, Hadoop, spark
312 会员关注
可以从你的底层存储方式着手,比如你的30亿数据是否可以划分成3层,内存区,热存储区,冷数据区,新的数据过来,先放内存,然后后台进程自动对内存中的数据跟热区数据进行比对是否存在,设置数据降级机制,哪些数据可能用的比较少可以先从内存中降级到热存储区如果你想用hbase的话,建议你根...(more)
浏览7944
回答3
来自主题:Oracle数据库 · 2019-06-13
shangguanhaiyiustc 擅长领域:hbase, MongoDB, Oracle数据库
8 会员关注
做地市级大数据项目,有能力的是不是上大数据平台,Hadoop平台上面 hbase ,hive 都会用到,结构化数据库推荐用mysql系数据库,成本最小。考虑后期mysql可能闭源,还有MariaDB.oracle,mysql 是结构化数据库mongodb,hbase 是key-value 数据库,非机构化数据库。...(more)
浏览3512
回答7
来自主题:超融合 · 2019-05-09
刘东东软集团 擅长领域:LinuxONE, 超融合架构, 医院超融合平台
689 会员关注
医院业务系统主要分为四大类,分别是:1、行政管理系统。包括人事管理系统,财务管理系统,后勤管理系统,药库管理系统,医疗设备管理系统,门诊、手术及住院预约系统,病人住院管理系统等。2、医疗管理系统。也是核心业务系统,主要包括门诊、急诊管理系统(HIS),影像文件系统(PCAS)、病案管理...(more)
浏览1825
回答6