rein07

动态

大数据 大数据平台 数据强一致性 rein07rein07 回答了问题 2018-12-28

大数据底层保持数据强一致性是如何实现的?

rein07 rein07 系统架构师,某证券
Hadoop没有办法保证所有数据的强一致性,但是通过副本机制保证一定程度的一致性,如果某一个datanode宕机,将会在其他datanode上重建一个副本,从而达到副本一致性的目的,且在写入的时候可以采用一次写入多个副本的方式保证即查看全文
大数据 大数据平台 数据仓库 rein07rein07 回答了问题 2018-12-28

传统数仓转向大数据平台的必要性?

rein07 rein07 系统架构师,某证券
大数据平台采用分布式架构,用于解决海量数据的存储和分析问题,传统数仓无法解决上百TB及PB级的分析问题。大数据平台由于架构新,使用模式也不尽相同,有的使用SQL,有的使用spark编程,有的使用mapreduce编程,所以存在一定的学查看全文

企业级大数据平台如何选型?

rein07 rein07 系统架构师,某证券
现在,大数据平台基本特指Hadoop平台了,选型主要还是指Haoop管理平台。现在主流的厂商有cloudera和Hortonworks,国内有华为的fusion insight和星环科技的产品。相对来说,cloudera具有较大优势,市场占有率也较高,管理平台非查看全文
大数据 spark storm rein07rein07 回答了问题 2018-12-27

大数据中的实时计算SPark和Storm优缺点是什么?分别适合于哪些场景?

rein07 rein07 系统架构师,某证券
SparkStreaming和Strom都属于实时计算框架,有点都是可以做到对数据的实时处理。SparkStreaming是基于Spark Core实现的,所以对数据的处理要形成RDD,暨要形成数据窗口,所以其处理过程可以称之为微批处理,而storm是可以做到查看全文
大数据 选型 数据仓库 rein07rein07 回答了问题 2018-12-27

大数据中的数据仓库和Mpp数据库如何选型?

rein07 rein07 系统架构师,某证券
在Hadoop平台中,一般大家都把hive当做数据仓库的一种选择,而Mpp数据库的典型代表就是impala,presto。Mpp架构的数据库主要用于即席查询场景,暨对数据查询效率有较高要求的场景,而对数据仓库的查询效率要求无法做大MPP那样,查看全文
大数据 硬件 大数据平台 rein07rein07 回答了问题 2018-12-27

大数据底层平台对硬件的要求有哪些?

rein07 rein07 系统架构师,某证券
1、在企业内部,最好保证集群中所有机器的配置保持一直,否则容易出现一台机器运行较慢,从而拖慢整体任务运行速度的情况。2、大数据平台对网络要求较高,在几十台机器的集群下,如果采用千兆网络,极其容易出现某一个大任务把带查看全文
大数据 大数据分析 实时推荐 rein07rein07 回答了问题 2018-12-27

大数据分析中的实时推荐是如何实现的?

rein07 rein07 系统架构师,某证券
实时推荐需要使用实时处理框架结合推荐算法,从而做到对数据的实时处理和推荐。实时处理框架有Storm、Flink、SparkStreaming,组件可以对接Kafka,获取实时流数据,在实时框架内部实现对数据的处理过程。查看全文
大数据 选型 日志分析 rein07rein07 回答了问题 2018-12-27

大数据分析中针对日志分析的框架如何选型?

rein07 rein07 系统架构师,某证券
现在免费且主流的均已采用Elastic公司的ELK框架,均为轻量级组件,且简单易用,从采集到界面展示几乎用不了多少时间即可搭建完毕,Kibana界面效果优异,包含地图、报表、检索、报警、监控等众多功能。查看全文
大数据 项目实施 大数据平台 rein07rein07 回答了问题 2018-12-27

一般一个大数据项目实施过程中应该注意什么?

rein07 rein07 系统架构师,某证券
这个过程与一般的项目没有本质区别,基本的需求、分析、设计、开发、测试都是要有的。不同的地方是大数据项目采用的技术不像传统的基于数据库的SQL开发那么简单,对编程能力的要求较高,同时对遇到问题的排查能力要求也较查看全文

擅长领域

大数据 大数据
证券大数据平台 证券大数据平台
大数据平台 大数据平台