实时数仓
实时数仓
传统的离线数据仓库,将业务数据集中进行存储后,以固定的计算逻辑定时进行ETL 和其它建模后产出报表等应用。离线数据仓库一般采用每日或每几个小时进行一次计算的方式,计算和数据的实时性均较差,业务人员无法根据自己的即时性需要获取几分钟之前的实时数据。而虽然软件技术和硬件的发展,实时数据仓库一类解决方案越发流行。实时数仓同时具有计算的实时性(计算在用户查询时发生,可...(more)
传统的离线数据仓库,将业务数据集中进行存储后,以固定的计算逻辑定时进行ETL 和其它建模后产出报表等应用。离线数据仓库一般采用每日或每几个小时进行一次计算的方式,计算和数据的实时性均较差,业务人员无法根据自己的即时性需要获取几分钟之前的实时数据。而虽然软件技术和硬件的发展,实时数据仓库一类解决方案越发流行。实时数仓同时具有计算的实时性(计算在用户查询时发生,可自由变换,查询速度快),和数据的实时性(数据产生插入数仓后很短时间内既可以查询到),可以让业务人员在几秒钟甚至几百毫秒的时间内获取到包含最近几分钟内的数据计算结果,以最大的灵活度应对千变万化的业务挑战。

热点

互联网服务数据仓库·2023-03-02
lzj7618937 · cib 擅长领域:云计算, 容器, 容器云
6 会员关注
实时流计算是指处理的数据源是一些不断产生新数据的连续流,并通过实时分析技术,将这些实时数据变为业务价值。流计算往往应用于大数据领域的数据分析,日志处理等场景。验证实时流计算结果准确性是非常重要且有挑战的。下面是一些验证实时流计算结果准确性的方法:1.使用样本对...
生活生产服务其它大数据·2020-03-25
pysx0503 · 第十区。散人 擅长领域:存储, 备份, 服务器
746 会员关注
我理解的大数据平台和数仓报表平台应该并不是一个升级替代的关系。大数据平台是一个综合的系统。而数仓只是大数据中的一部分基础。如果吧大数据比喻成一辆车。那数仓应该算是车的发动机。提供大数据中所有需要的各种动力。正常的架构应该是所有的子系统数据通过ETL汇总...
大数据·2019-09-06
jamiee · 某股份制银行 擅长领域:大数据, 实时数仓, 数据库
5 会员关注
实时数仓应用的场景的情况在金融传统行业如何呢?结合银行来说目前实时数仓应用与风险控制场景完美契合,对于实时数仓的使用,可以使用风险的识别提前,有效的降低银行的损失,保证银行的利益。另外一个场景银行的互联网金融业务发展越发迅猛,实时数据量要比传统数据量更加大的多,因...(more)
浏览14130
银行日志·2019-09-04
gengyang · 民生银行 擅长领域:大数据, 实时数仓, 数据库
1 会员关注
因为日志格式的不统一造成分析难度较大,需要针对每种格式硬编码实现加工逻辑。可以从日志规范上着手简化加工,给源系统指定日志打印规范,然后一次开发针对不同系统的关注指标进行差异化配置实现多次服用。...
银行数据仓库·2019-08-29
匿名用户
我觉得分几步来做:1.数据全部收集到一个数据平台。不管是实时的还是历史的。2.做好数据库的清洗和基础关联,和宽表的建立。3.根据对数据的实时性要求进行分级处理。4.成立每个业务分析团队在款表上做分析。5.分析的数据再返回宽表,并形成数据模型,共以后或其他业务线使用。...
银行大数据·2019-08-29
jamiee · 某股份制银行 擅长领域:大数据, 实时数仓, 数据库
5 会员关注
实时数据采集方面讲有OGG可以通过数据库日志的方式采集数据,Flume和logstash通过日志抓取数据,APM、F5等工具通过流量镜像抓取数据。从数据加工角度来讲,有Kafka、rabbitMQ等队列进行数据接收和消费,有Storm进行流式数据计算处理。从数据存储方面有redis、voltdb等内存数据库...
银行数据仓库·2019-08-29
王奇 · 阜新银行 擅长领域:大数据, 数据库, 商业智能
2 会员关注
所谓的实时数仓,最主要的就是当天的数据,银行最重要的是当天的流水。所以更多的需求都应该是银行的流水数据产生的。时时的数据量很少。只有当天或几天的数据(保存几天的数据可以增加容错的机制),各个理解时时数仓关注的应该是指标。而非各种各样的数据。模型也应该是轻量级的...
银行数据仓库·2019-08-28
topzgm课题专家组 · People's Bank of China 擅长领域:数据库, 服务器, 存储
39 会员关注
谈点个人理解:1)一般业务系统或者一般应用系统:对于一般业务系统或者一般应用系统之上补充增加一些实时分析或者实时监控,这个模型建立与业务系统/应用系统耦合比较紧密,这样的模型建立的五花八门,没有统一、更没有标准。这样的case在许多银行的许多系统都是这样。2)专业型数...
银行数据处理·2019-08-27
Ott · 科技部 擅长领域:大数据, 数据库, 实时数仓
业务场景:1、实时交易反欺诈,对客户交易行为进行实时分析,根据风险级别对客户资金交易进行预警或者阻断,保障客户资金安全。2、实时营销,实时采集客户各渠道行为信息,结合推荐模型,采取事件式实时营销3、在线业务实时监测,尤其是在线信贷业务,自动化审批流程替代了传统的人工审批,...

    描述

    传统的离线数据仓库,将业务数据集中进行存储后,以固定的计算逻辑定时进行ETL 和其它建模后产出报表等应用。离线数据仓库一般采用每日或每几个小时进行一次计算的方式,计算和数据的实时性均较差,业务人员无法根据自己的即时性需要获取几分钟之前的实时数据。而虽然软件技术和硬件的发展,实时数据仓库一类解决方案越发流行。实时数仓同时具有计算的实时性(计算在用户查询时发生,可...(more)
    传统的离线数据仓库,将业务数据集中进行存储后,以固定的计算逻辑定时进行ETL 和其它建模后产出报表等应用。离线数据仓库一般采用每日或每几个小时进行一次计算的方式,计算和数据的实时性均较差,业务人员无法根据自己的即时性需要获取几分钟之前的实时数据。而虽然软件技术和硬件的发展,实时数据仓库一类解决方案越发流行。实时数仓同时具有计算的实时性(计算在用户查询时发生,可自由变换,查询速度快),和数据的实时性(数据产生插入数仓后很短时间内既可以查询到),可以让业务人员在几秒钟甚至几百毫秒的时间内获取到包含最近几分钟内的数据计算结果,以最大的灵活度应对千变万化的业务挑战。
    X社区推广
  • 提问题