hdfs
hdfs
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的...(more)
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
热点
来自主题:NAS(网络附属存储) · 2020-07-20
对于金融保险业的非结构化数据存储选型,一般来说,应当考虑如下因素:1、访问协议。文件访问?对象访问?数据分析?做不做机器学习等等;2、数据量。有多少数据需要存储,增长情况怎么样?还容易被忽略的包括文件大小、目录大小、访问方式(随机/顺序)等等;3、维护量。这一点也经常被拍板的人...
浏览3759
回答1
来自主题:分布式存储 · 2020-05-06
zhuqibsMcd 擅长领域:Oracle, OpenStack, Ceph
26 会员关注
一、集中存储结构说到分布式存储,我们先来看一下传统的存储是怎么个样子。传统的存储也称为集中式存储,从概念上可以看出来是具有集中性的,也就是整个存储是集中在一个系统中的,但集中式存储并不是一个单独的设备,是集中在一套系统当中的多个设备,比如下图中的EMC存储就需要几...(more)
浏览3225
评论1
来自主题:云计算 · 2020-03-03
aigoppb某金融单位 擅长领域:私有云, OpenStack, 云计算
842 会员关注
收藏17
评价5
金币10
来自主题:分布式存储 · 2019-04-25
Steven99steven 擅长领域:容器云, 证券容器云平台, 微服务
19 会员关注
日志文件随着时间会是个很大的量,所以建议考虑统一的日志中心存储处理,可以用es等,备份到hdfs。配置文件在量上通常不是个问题,可以考虑配置中心统一管理,无需额外存储非结构化数据通常是大量的文件,可以采用传统nas或分布式对象存储,当然资金充裕可以采购好的存储,存储性能很重...
浏览3412
回答5
来自主题:GPFS · 2019-04-25
刘文CMBC 擅长领域:软件定义存储, AIX, 分布式存储
573 会员关注
昨日夜里无事,又针对这一问题思考了下,个人愚见,欢迎各位拍砖!票据影像是交易中的重要凭证,针对票据影像的业务特点,对大规模的票据影像数据存储系统,我总结了下,总共大致是有这么四个需求:1、既要保证海量小文件的高速录入、查询,又可以提供大文件的性能保证;2、票据影像的数据量未...
浏览2484
回答6
来自主题:分布式存储 · 2019-06-03
fanyqing厦门银行 擅长领域:swift, Ceph, 分布式存储
26 会员关注
摘要:随着数字化转型的深入,海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点,但面对海量数据,其缺点也越来越明显:如扩展性差、成本高等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。分布式存储系统,通常包括主控服...(more)
浏览10267
评论2
来自主题:分布式存储 · 2019-04-19
wanggeng某银行 擅长领域:自动化运维, Ceph, 分布式存储
303 会员关注
Hadoop HDFS(大数据分布式文件系统)Hadoop分布式文件系统(HDFS)是一个分布式文件系统,适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括:容...
浏览6020
回答5
来自主题:分布式存储 · 2019-04-29
Garyy某保险 擅长领域:容器, Docker, Kubernetes
362 会员关注
前言:物联网(IoT)的蓬勃发展推动了结构化/非结构化数据的空前增长,不仅给企业带来了发掘新客户、创造新收入来源的巨大机会。也给企业传统存储架构带来了很大的挑战,具体表现:1)弹性扩展能力差,扩容成本高2)运维管理复杂,对运维人员技术能力要求高3)多种异构存储之间易形成资源孤...(more)
专栏: 活动总结
浏览5271
来自主题:风险评估 · 2019-04-26
sdtimothy8浪潮商用机器有限公司 擅长领域:分布式存储, Ceph, 集群
1 会员关注
答:1)银行影像存储属于海量小文件存储的应用场景,对象存储再合适不过。与传统的NAS存储相比,分布式对象存储具备更好的弹性扩展能力,用户可以根据业务增长弹性扩容,同时性能可以随容量线性增长;此外,对象存储采用去中心化架构,无元数据瓶颈,扁平命名空间,无“目录树”瓶颈,可有效提升...
浏览2527
回答2
来自主题:infiniband · 2019-04-25
石佛日本ITS会社 擅长领域:Oracle 11g, amazon s3, swift
6 会员关注
其实真的不需要IB.分布式就是为了解决存储并发产生瓶颈问题的。没个点都可以同时接收来自客户端的io读者请求。所以直接利用分布式已给出的解决方案就好!
浏览2708
回答4
描述
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的...(more)
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
  • 提问题