大数据平台 - 主题 - twt企业IT交流平台

热点

银行hbase·2019-12-25

hbase的适用场景是？哪些数据适合用hbase来存储？

Luga Lee · None　擅长领域：云计算, 容器, 容器云

43 会员关注

通常用得较多的场景：1、对象存储2、时空数据3、Feeds流4、推荐画像、、、一般来说：面向列的，容量大的数据都可以采用hbase存储

赞同1

回答2

关注3

系统集成大数据平台·2019-12-18

hadoop大数据平台使用物理机还是虚拟化？

liuyangccu · 平安银行　擅长领域：大数据, 大数据平台, 分布式系统

1 会员关注

这个看公司选择，一般情况都是部署在独立物理机，节点越多，算力越强。部署在虚拟机群一般两种情况，一种是试验用，类似做个poc测试用，另一种有超大规模虚拟机群，像阿里，人家的机群性能比物理机性能强太多了。个人经验，普通hadoop机群从十几台到几百台这个规模的，没听说哪家用虚拟机集...

数据治理·2019-08-27

jamiee · 某股份制银行　擅长领域：大数据, 实时数仓, 数据库

5 会员关注

一、银行大数据平台建设背景及目标我们进行大数据平台建设有几个方面的背景。一是我们在信息化建设和数据分析的基础比较好；二是虽然在信息化建设过程中建设了比较完成的BI应用，但随着业务不断发展，这些解决方案已不能完全满足业务对于数据分析的需求；三是大数据技术的快速发...(more)

赞同10

Hadoop·2019-10-30

MASTERING HADOOP 3

yinxin · 某金融机构　擅长领域：数据库, 服务器, 云计算

976 会员关注

下载 4

金币1

Hadoop·2019-10-22

hadoop权威指南第三版(原版)

yh2022lat · 中国联通　擅长领域：服务器, 存储, 灾备

22 会员关注

下载 16

评价2

金币2

银行大数据平台·2018-10-19

影像类等非结构化数据一般如何在大数据平台存储?

sxtycxx · 人工智能（计算机视觉）　擅长领域：存储, 灾备, 服务器

519 会员关注

大数据平台中适合存放数据量极大，而且是一次写入，多次读的应用需求，存储在HDFS分布式文件系统，采用多副本机制保障数据的安全和可靠影像类数据包括视频数据和图像数据，非常适合存放在HDFS中，系统将影像类数据进行切分，按照128MB大小进行切分，然后对每个128MB的数据进行多副本进行...

银行银行文件存储·2019-04-25

byethen · CMBC　擅长领域：存储, 灾备, 服务器

585 会员关注

昨日夜里无事，又针对这一问题思考了下，个人愚见，欢迎各位拍砖！票据影像是交易中的重要凭证，针对票据影像的业务特点，对大规模的票据影像数据存储系统，我总结了下，总共大致是有这么四个需求：1、既要保证海量小文件的高速录入、查询，又可以提供大文件的性能保证；2、票据影像的数据量未...

赞同6

回答6

关注7

Hadoop·2019-08-15

Hadoop与Spark所有系统组件部署手册

匿名用户

下载 43

评价10

金币1

银行大数据平台·2019-09-04

寻求大数据平台下的即席查询报表工具及架构搭建的解决方案？

王奇 · 阜新银行　擅长领域：大数据, 数据库, 商业智能

2 会员关注

我们银行目前也在用FusionInsight大数据平台C8.0版本，实时数据可以放到HBASE里面，用HIVE ON HBASE的方式去处理实时的数据，SPARK SQL处理轻量级别的数据没有问题，大量的数据SPARK SQL 不合适，SPAKR 的计算单元RDD每一个动作都会有一个RDD产生对内存要求很高。...

赞同3

回答2

关注3

保险Hadoop·2019-08-27

hadoop哪些组件可实现准实时数据处理，目前主流使用的是哪些？

王奇 · 阜新银行　擅长领域：大数据, 数据库, 商业智能

2 会员关注

OGG数据抽取和解析，KAFKA数据的传输，HBASE数据存储。这是最简单的如果需要计算一些指标，可以用SPARK-STREAMING. 特别提醒：大数据的每个组件应用的场景不一样，使用时一定要注意自己的应用场景...

赞同1

回答3