非结构数据Hadoopnosql分级存储大数据Redis

如何对PB级甚至EB级的海量非结构化数据进行有效管理?

如何对PB级甚至EB级的海量非结构化数据进行有效管理?

活动简介

海量非结构化数据本身有着数据容量庞大(规模达到TB级、PB级甚至EB级 ),数据类型繁多(如流媒体、文本、图片等多种类型),数据时效性高(响应时效要控制在用户可容忍和接受范围)等特点。

在大数据环境下,如何能够快速处理格式各异的海量非结构化数据,有着诸多问题亟待解决。诸如,如何选用合适的存储模型、进行分级存储、如何选择NoSQL数据库工具及调优、如何对海量数据进行分区操作、建立广泛的索引、建立缓存机制、如何使用临时表和中间表、优化查询语句、使用文本格式进行处理、定制强大的清洗规则和出错处理机制等等。

针对特点和企业应用场景需求,业内大致有以下几种解决方案,值得进行讨论

1、使用传统NAS存储,NAS存储所提供的基于文件或者块的存储方式,适合存放非结构化数据。

2、分布式文件系统DFS,如 IBM的GPFS、Hadoop分布式文件系统HDFS等。

3、对象存储,按需提供各种类型的非结构化数据的服务接口

4、NoSQL类数据库,如面向key-value类的Redis、面向列存储的Hbase、面向文档类的MongoDB等

以上几种解决方案,针对性和需求也各不相同,本次活动的目的,是结合如上解决方案,帮助企业寻找出处理海量非结构化数据的潜在优化点,共同探讨如何能有效地针对海量非结构化数据进行深度性能分析和评测,提升数据吞吐量,实现对其调优和有效管理。

嘉宾

Jhon
技术经理小学生
擅长领域: 存储灾备服务器
发布167
回答134
bryan
bryan0514
软件架构设计师金融研发
擅长领域: 云计算容器容器云
发布447
回答347
qq373793057
系统工程师某银行
擅长领域: 存储灾备分布式系统
发布314
回答179

活跃参与会员

  • cucu
  • myciciy
  • zp_ccc
  • mac2008
  • pysx0503
  • mirage0019
  • nkj827
  • cuizengshun
  • Jhon
  • qditz
  • bryan_sd
  • ttkanni
  • sprewellkobe
  • qq373793057
  • haichuan0227
  • liucj2004
  • 美国队长
  • chenruiziyao
  • cuicuitiger
  • mcgrady93
  • ywang225
  • libai21
  • 秃头老妖
  • rein07
  • YMYMYM
  • 剑舞伊人笑
  • youyouwoxin888
  • topzgm
  • Javon
  • aixchina
  • haomao1879
  • 晓黎
  • hebhnd
  • qiukd
  • baizhaoxian
  • YuLimin
  • cenhope
  • ccbblues
  • carlyan
  • TXSRXY
  • faye
  • eversmily
  • yujin2010good
  • wuwenpin
  • feliciay
  • 彬彬
  • xijiehaiqing
  • jxnxsdengyu
  • yezi00
  • yezi000
  • zzliu_ceb
  • lxpeng163
  • ce97
  • xuhong00007
  • casper105
  • guokylin
  • lingjy_fj
  • aelous
  • wangyan_1
  • it_sjd
  • liuchao6926
  • bryan1985
  • zhangchunlei
  • lifans
  • doc
  • beyondmch
  • 奥博
  • 解志
  • baiyun981504
  • zhy1579
  • tianjiang
  • andersl
  • 李丹丹
  • jeekey
  • zwjsky2012
  • wangxuxu
  • fjcharles
  • qupe
  • yashting
  • 冬雨潇潇
  • icycastle
  • megatrontron
  • 爱哭的毛毛虫
  • terrythw_twt
  • Wentasy
  • fengyun1
  • 小渣渣
  • gululu79
  • yogman00
  • JacobPig
  • 吴云芬
  • rdk123
  • xuran
  • jianlangood
  • stclever
  • todaygo
  • 小小小黄鸡
  • peaceful_boy
  • fggang
  • yuyu12112
  • 时东南
  • bodycom
  • songzixuan
  • Sangfor
  • jiangmh_111
  • liupengyang_100
  • Super_Liu
  • S_Sen
  • dongbayou
  • 无fnck说
  • itjava
  • DownToEarth
  • WONIDG
  • 呐三金
  • fuwangrong
  • junma
  • 刘悦炀
  • magic12
  • baby2018
  • ye_1990
  • fuzzycole
  • yourpain
  • Chengdada0109
  • funbearfamily
  • Captain0798
  • andywong121
  • ylisa
  • denghui138
  • 落花有意流水
  • 凡舒
  • xiaoxingge
  • shenp1
  • X社区推广