hdfs
hdfs
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的...(more)
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
最新
来自主题:分布式存储 · 2019-06-03
fanyqing厦门银行 擅长领域:分布式存储, swift, hdfs
6 会员关注
摘 要: 随着数字化转型的深入,海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点,但面对海量数据,其缺点也越来越明显:如扩展性差、成本高等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。 分布式存储系统,通常包括主...(more)
浏览8437
评论1
来自主题:hdfs · 2019-05-30
大天使之剑杭州才云科技 擅长领域:OpenStack, ceph, 虚拟机
15 会员关注
pn0wcabeuv80 HDFS引入 HDFS 是分布式文件系统,首先我们来看一下什么是文件系统 文件系统 文件系统:看得见的文件管理:拿windows系统举例,咱们可以看到有各种盘符,盘符下面有各种目录以及文件。 看不见的 块(block)管理:文件实际存放的位置是在磁盘中的块内。 单机文件系统window...(more)
浏览462
来自主题:hdfs · 2019-05-14
聂奎甲长春长信华天 擅长领域:数据备份, 备份, TSM
451 会员关注
分离式部署的方式,使得系统相独立,避免了计算和存储争抢CPU/内存/网络等物理资源,一旦某一方资源需求骤升导致的另一方资源枯竭,从而影响性能并在整个基础架构中产生的涟漪效应;...
浏览947
回答1
来自主题:分布式存储 · 2019-04-29
Garyy某保险 擅长领域:容器, docker, Kubernetes
243 会员关注
前言: 物联网 (IoT) 的蓬勃发展推动了结构化/非结构化数据的空前增长,不仅给企业带来了发掘新客户、创造新收入来源的巨大机会。也给企业传统存储架构带来了很大的挑战,具体表现: 1)弹性扩展能力差,扩容成本高 2)运维管理复杂,对运维人员技术能力要求高3)多种异构存储之间易形成资...(more)
专栏: 活动总结
浏览3920
来自主题:数据安全 · 2019-04-26
sdtimothy8浪潮商用机器有限公司 擅长领域:分布式存储, ceph, 集群
1 会员关注
答:1)银行影像存储属于海量小文件存储的应用场景,对象存储再合适不过。与传统的NAS存储相比,分布式对象存储具备更好的弹性扩展能力,用户可以根据业务增长弹性扩容,同时性能可以随容量线性增长;此外,对象存储采用去中心化架构,无元数据瓶颈,扁平命名空间,无“目录树”瓶颈,可有效提升...
浏览1269
回答2
来自主题:分布式存储 · 2019-04-25
Steven99steven 擅长领域:容器云, 微服务, 证券容器云平台
14 会员关注
日志文件随着时间会是个很大的量,所以建议考虑统一的日志中心存储处理,可以用es等,备份到hdfs。配置文件在量上通常不是个问题,可以考虑配置中心统一管理,无需额外存储非结构化数据通常是大量的文件,可以采用传统nas或分布式对象存储,当然资金充裕可以采购好的存储,存储性能很重...
浏览1426
回答5
来自主题:GPFS · 2019-04-25
刘文CMBC 擅长领域:软件定义存储, AIX, 分布式存储
524 会员关注
昨日夜里无事,又针对这一问题思考了下,个人愚见,欢迎各位拍砖!票据影像是交易中的重要凭证,针对票据影像的业务特点,对大规模的票据影像数据存储系统,我总结了下,总共大致是有这么四个需求:1、既要保证海量小文件的高速录入、查询,又可以提供大文件的性能保证;2、票据影像的数据量未...
浏览879
回答5
来自主题:ceph · 2019-04-25
石佛日本ITS会社 擅长领域:Oracle 11g, hdfs, ceph
5 会员关注
其实真的不需要IB.分布式就是为了解决存储并发产生瓶颈问题的。没个点都可以同时接收来自客户端的io读者请求。所以直接利用分布式已给出的解决方案就好!
浏览1227
回答4
来自主题:技术路线选型 · 2019-04-19
wanggeng某银行 擅长领域:自动化运维, 分布式存储, ceph
300 会员关注
Hadoop HDFS(大数据分布式文件系统)Hadoop分布式文件系统(HDFS)是一个分布式文件系统,适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括:容...
浏览2404
回答4
来自主题:分布式存储 · 2019-01-07
Lucien168滴滴 擅长领域:ceph, 分布式存储, CephFS
73 会员关注
ceph是一个统一存储系统,集对象,块,文件存储于一体。 对象存储(Object Storage),既可以通过使用Ceph的库,利用C, C++, Java, Python, PHP代码,也可以通过Restful网关以对象的形式访问或存储数据,兼容亚马逊的S3和OpenStack的Swift。 块存储(Block Storage),作为块设备像硬盘一样...
浏览2433
回答1
描述
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的...(more)
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
© 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30

  • 提问题