数据仓库数据集市大数据

在高并发、低延迟的场景下,企业如何建设敏捷高效的数据集市线上探讨

在高并发、低延迟的场景下,企业如何建设敏捷高效的数据集市线上探讨

活动简介

在数据集市建设之前,数据查询主要依赖于数据仓库。数据仓库是一个集成的、面向主题的数据集合,设计的目的是支持决策支持系统功能。在数据仓库里,每个数据单元都与特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据,是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,用以支持经营管理中的决策制定过程。数据仓库是一个典型的OLAP系统,在高并发、快速响应的场景下具有很大的局限性,无法满足海量投资者数据查询服务需求。

数据集市(Data Mart) ,也叫数据市场是企业级数据仓库的一个子集满足特定的部门或者用户的需求,只面向某个特定的主题按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。为了解决灵活性与性能之间的矛盾,数据集市就是数据仓库体系结构中增加的一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据,从而满足用户对性能的需求。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。

为了系统在低延时和高并发查询的情况下具备足够的支撑能力,可以7×24对外提供数据服务,且不影响原有数据仓库统计分析应用的正常运行社区在87日组织了一场“在高并发、低延迟的场景下,企业如何建设敏捷高效的数据集市线上探讨”活动,并邀请了某证券公司大数据专家,同大家一起交流探讨。

嘉宾介绍

卢向澄  某证券  技术开发经理

硕士毕业,有大型外企、国内大型金融机构等金融科技领域十余年工作经验,目前在证券行业从事技术架构工作,专注于技术中台、云平台、大数据平台等领域。

李文强   某证券  资深大数据架构师

研究生毕业于东南大学,曾经在某部委直属的研究所工作多年,主要从事大数据方面的研究和应用,对于万亿级结构化和千亿级非结构化数据的存储和查询有良好的实践经验,负责构建过共几十亿节点、千亿级关系的社交关系网络,并基于此网络实现人物标签的构建,现就职于某证券,继续从事大数据平台相关研究和应用工作。

推荐阅读

证券行业投资者服务数据集市建设方案

为了保证投资者服务系统在低延时和高并发查询的情况下具备足够的支撑能力,可以7×24对外提供数据服务,且不影响原有数据仓库统计分析应用的正常运行,最终决定建设面向投资者服务的专业数据集市。本文对该项目的架构与实施方案做了详细阐述。

活动资料

主持人

rein07
系统架构师某证券
擅长领域: 人工智能大数据机器学习
发布156
回答130
lxcorange
软件架构设计师某券商
擅长领域: 大数据数据库数据仓库
发布55
回答35

活跃参与会员

  • lpstart
  • lxcorange
  • rein07
  • 江南无烟雨
  • william_wu
  • 时东南
  • airstuky
  • 挚爱咖啡
  • silencely
  • 建奎生
  • aixchina
  • lyq6666
  • pysx0503
  • 苏十一
  • caofei
  • faye
  • aigoppb
  • kongdp
  • wuwenpin
  • samlin
  • 彬彬
  • jxnxsdengyu
  • 414356153
  • evilada
  • haizdl
  • veryhiman
  • ishsh99
  • w1042802321
  • telnet4730
  • like052
  • user1
  • doc
  • linjie
  • onegoo
  • soleon
  • Lancer
  • snowgaby
  • bbaimm88
  • zhy1579
  • bisu1991
  • cft18
  • 宋代超人
  • playbaobao
  • 姜险峰
  • 爱哭的毛毛虫
  • tongshuai
  • topzgm
  • 长诗佐酒
  • 乃伊组特
  • swhphq
  • sunqiangwei
  • 阳光2013
  • babyfish_nj
  • zhxn0921
  • xiejimywei
  • 王希瑞
  • xygboy
  • iamyuanrui123
  • 谷冬
  • 刘悦炀
  • louiz.liu
  • Oone
  • xzongming
  • edwin1986
  • Allen_ye
  • TrishDante
  • gracepan
  • akole_wang
  • danny_nj
  • hhk3246
  • wangxiduo
  • yemoy
  • flsh
  • shunyigege
  • jsw2065
  • blucedeng
  • dsfdsfgdgf
  • lishiguang
  • qhs8848
  • 唐正良
  • solozhang1769
  • jamesoptima
  • 神预判官
  • 王柯淇Macroaan
  • shaou
  • raible2019
  • 浪荡
  • X社区推广