jamiee

动态

实时数仓 jamieejamiee 回答了问题 2019-09-04

实时数据仓库,传统IT企业和互联网企业之间在用户需求、应用场景、技术路线等方面存在哪些区别和联系?

jamiee jamiee 数据库架构师,某股份制银行
这个问题很大。我理解实时数据仓库更加贴近线上业务场景,是根据业务场景和需求不断迭代的产物,在互联网企业中实时的数据处理和加工的诉求和实现更多方式更普遍。查看全文
实时数仓 jamieejamiee 回答了问题 2019-09-04

不同实时性(如完全实时性、秒级实时性等)如何采用不同技术?

jamiee jamiee 数据库架构师,某股份制银行
我们曾经做过一个风控类的项目,大概在几十毫秒完成指标计算,并将指标反馈给实时决策引擎。思路有两个。一是业务系统将交易报文下发给实时指标加工模块进行处理,指标加工模块完成指标计算后同步返回加工结果;另一个是上游查看全文
实时数据处理 增量处理 jamieejamiee 回答了问题 2019-08-31

准实时数据如何高效存储,比如增量如何处理,存量如何存储?

jamiee jamiee 数据库架构师,某股份制银行
我也提了一个类似的问题,考虑到目前业务系统现状,很难配合进行实时数据采集的改造,很多场景是采用网络旁路或者OGG等方式进行数据采集,对于数据的业务状态和数据丢失无法完全保证。我自己的想法是应该结合应用场景,有些场查看全文
实时数据仓库 jamieejamiee 回答了问题 2019-08-31

实时数仓如何进行数据的治理管控?

jamiee jamiee 数据库架构师,某股份制银行
数据治理大概是数据使用和建设中比较有共性的痛点,传统数仓也少见能很好的解决这个问题,虽然工具建设不少但数据治理的效果并不理想。我们在大数据建设上做了一些尝试,将数据治理的要求内嵌到数据开发的过程中,通过开发工查看全文
历史数据 实时数据 数据仓库 jamieejamiee 回答了问题 2019-08-31

如何把控实时数据仓库的实时数据的粒度与历史数据仓库的历史数据的粒度?

jamiee jamiee 数据库架构师,某股份制银行
实时数仓的数据粒度应该要跟技术实现有关,我理解有起码有两类实现方式,一类存储指标等汇总数据,另一类是存储清洗后原始数据:1.一类是基于根据实时采集的数据,在历史存储的指标基础上行加工新的指标值。这种实现方式是没有查看全文
数据采集 数据仓库 jamieejamiee 回复了回答 2019-08-31

数据仓实时采集技术对被采集系统有什么要求?

jamiee jamiee 数据库架构师,某股份制银行
如果做了有类似HADR之类的备库的话,可以考虑直接采HADR库。查看全文
实时采集 jamieejamiee 回答了问题 2019-08-31

如何降低源系统的接入门槛?

jamiee jamiee 数据库架构师,某股份制银行
系统接入确实是一个比价棘手的问题,特别是一些业务系统开发人员对于大数据的大数据的组件使用熟悉的情况,数据接入尤为痛苦。我觉得可以从两个方面降低门槛。1.工具层面的问题。需要构建统一的消息中心,用于存放各个数据查看全文
大数据 技术架构 实时数仓 jamieejamiee 回答了问题 2019-08-31

实时数仓的主流技术架构及组件选型?

jamiee jamiee 数据库架构师,某股份制银行
实时数据采集方面讲有OGG可以通过数据库日志的方式采集数据,Flume和logstash通过日志抓取数据,APM、F5等工具通过流量镜像抓取数据。从数据加工角度来讲,有Kafka、rabbitMQ等队列进行数据接收和消费,有Storm进行流式数据查看全文
数据建模 数据仓库 实时数仓 jamieejamiee 回答了问题 2019-08-31

实时数据仓库与传统数据仓库的融合:实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?

jamiee jamiee 数据库架构师,某股份制银行
1)实时数据更加强调数据采集、数据加工、数据应用的实时性, 实时数据处理的技术实现上与历史数据有比较大的差异,数据模型要统一比较困难,是否可从以下两点去尝试。1.数据分层体系上可以借鉴传统数仓,比如数据数据采集是否查看全文

擅长领域

实时数仓 实时数仓
大数据 大数据
银行大数据平台 银行大数据平台

最近来访

  • faye
  • 彬彬
  • 王奇
  • 徐生韦