长诗佐酒

动态

日志 实时数仓 长诗佐酒长诗佐酒 赞同了回答 2019-09-04

应用日志管理采用准实时数据仓库技术,除了全文搜索外,还可业务指标抽取监控。有什么成熟的经验或建议吗?

gengyang gengyang 数据仓库工程师,民生银行
因为日志格式的不统一造成分析难度较大,需要针对每种格式硬编码实现加工逻辑。可以从日志规范上着手简化加工,给源系统指定日志打印规范,然后一次开发针对不同系统的关注指标进行差异化配置实现多次服用。查看全文
数据清洗 数据采集 实时数仓 长诗佐酒长诗佐酒 赞同了回答 2019-09-04

准实时数据仓库数据采集和清洗的方式或工具有哪些?

chailei_8306 chailei_8306 研发工程师,城商行
    目前CDC能获取比较准确的变化数据,ogg也可以,性价比比较高,无需改造交易。 在十年前用过消息队列方法,需要对交易进行改造,适合新建系统时考虑好。 配置SQL抽取比较依赖记录的维护时间戳,往往是不可靠的,不查看全文
应用场景 技术架构 实时数仓 长诗佐酒长诗佐酒 赞同了回答 2019-09-04

准实时数仓的采用的技术架构,场景及落地情况?

gengyang gengyang 数据仓库工程师,民生银行
这个问题比较大,现在很多银行包括互联网公司也都是在探索阶段。 关于背景其实没必要多说什么,现在对多种场景对数据的时效性要求都越来越高,从系统监控到实时营销,从内部管理到监管报送等诸多场景都要求建设实时数仓。查看全文
数据处理 实时数仓 长诗佐酒长诗佐酒 赞同了回答 2019-09-04

银行数据处理时效性越来越高,业务需求方对准实时数据数据处理的业务场景有哪些?

Ott Ott 项目经理,科技部
业务场景:1、实时交易反欺诈,对客户交易行为进行实时分析,根据风险级别对客户资金交易进行预警或者阻断,保障客户资金安全。2、实时营销,实时采集客户各渠道行为信息,结合推荐模型,采取事件式实时营销3、在线业务实时监测,尤查看全文
大数据 技术架构 实时数仓 长诗佐酒长诗佐酒 赞同了回答 2019-09-04

实时数仓的主流技术架构及组件选型?

jamiee jamiee 数据库架构师,某股份制银行
实时数据采集方面讲有OGG可以通过数据库日志的方式采集数据,Flume和logstash通过日志抓取数据,APM、F5等工具通过流量镜像抓取数据。从数据加工角度来讲,有Kafka、rabbitMQ等队列进行数据接收和消费,有Storm进行流式数据查看全文
历史数据 实时数据 数据仓库 长诗佐酒长诗佐酒 赞同了回答 2019-09-04

如何把控实时数据仓库的实时数据的粒度与历史数据仓库的历史数据的粒度?

jamiee jamiee 数据库架构师,某股份制银行
实时数仓的数据粒度应该要跟技术实现有关,我理解有起码有两类实现方式,一类存储指标等汇总数据,另一类是存储清洗后原始数据:1.一类是基于根据实时采集的数据,在历史存储的指标基础上行加工新的指标值。这种实现方式是没有查看全文
实时数据仓库 长诗佐酒长诗佐酒 赞同了回答 2019-09-04

实时数仓如何进行数据的治理管控?

jamiee jamiee 数据库架构师,某股份制银行
数据治理大概是数据使用和建设中比较有共性的痛点,传统数仓也少见能很好的解决这个问题,虽然工具建设不少但数据治理的效果并不理想。我们在大数据建设上做了一些尝试,将数据治理的要求内嵌到数据开发的过程中,通过开发工查看全文
数据建模 数据仓库 实时数仓 长诗佐酒长诗佐酒 赞同了回答 2019-09-04

实时数据仓库与传统数据仓库的融合:实时数据仓库与历史数据仓库是否考虑统一建模还是分开建模?

gengyang gengyang 数据仓库工程师,民生银行
1,关于建模 首先传统数仓的建模已经很成熟,而实时数仓才刚刚起步处于探索阶段,如果盲目效仿传统数仓,可能会因为复杂度过高而阻碍探索的步伐。我个人认为实时数仓的建模应该根据实际应用场景尽量简化,在实际应用的探索过查看全文

擅长领域

docker docker
paas paas
Kubernetes Kubernetes

最近来访

  • zllhc