大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:大数据 · 2019-11-14
韩成亮KE 擅长领域:MySQL, 数据库, Oracle
306 会员关注
关于问题1其实可以采用syner 实时同步https://pingcap.com/docs-cn/stable/reference/tools/syncer/ Syncer 是一个数据导入工具,能方便地将 MySQL 的数据增量导入到 TiDB,支持分库 或者直接采用DM,参考https://pingcap.com/docs-cn/stable/reference/tools/data-migration/...(more)
浏览1178
回答1
来自主题:自动化运维 · 2019-10-28
zjwy82bank 擅长领域:自动化运维, 银行自动化运维, CMDB
49 会员关注
首先我表达个人观点,运维数据统一治理并非自动化的先行条件,需要先把运维数据概念的定义以及自动化运维的覆盖范围厘清。我更倾向于配置管理是自动化运维的先决条件。先说说对运维数据的理解,我所认为有几类,一类是描述生产资源的数据即我们常说的配置数据,另一类是生产资源运...(more)
浏览3048
回答9
来自主题:大数据 · 2019-10-16
EricWang日志易 擅长领域:大数据, 大数据分析
7 会员关注
您好,根据您的描述和要求想提出几点建议参考,首先您提出的运维大数据都包含哪些?运维基础是日志可以解决绝大数问题。如果是这样日志易完全够用。但实际情况要建设好运维大数据平台的话还得纳入一些网络流量和数据库数据这时候可以考虑引入流量工具。在数据做好整理后可能会...(more)
浏览3531
回答3
来自主题:超融合 · 2019-05-09
刘东东软集团 擅长领域:LinuxONE, 超融合架构, 医院超融合平台
689 会员关注
医院业务系统主要分为四大类,分别是:1、行政管理系统。包括人事管理系统,财务管理系统,后勤管理系统,药库管理系统,医疗设备管理系统,门诊、手术及住院预约系统,病人住院管理系统等。2、医疗管理系统。也是核心业务系统,主要包括门诊、急诊管理系统(HIS),影像文件系统(PCAS)、病案管理...(more)
浏览1824
回答6
来自主题:数据存储 · 2018-10-19
陈星星人工智能(计算机视觉) 擅长领域:分布式存储, 大数据, SVC
344 会员关注
大数据平台中适合存放数据量极大,而且是一次写入,多次读的应用需求,存储在HDFS分布式文件系统,采用多副本机制保障数据的安全和可靠影像类数据包括视频数据和图像数据,非常适合存放在HDFS中,系统将影像类数据进行切分,按照128MB大小进行切分,然后对每个128MB的数据进行多副本进行...(more)
浏览3229
回答2
来自主题:对象存储 · 2019-02-21
Garyy某保险 擅长领域:容器, docker, Kubernetes
268 会员关注
传统的NAS存储在传统企业中目前仍占据很大的地位,但是由于互联网大数据的兴起,非结构化数据越来越占据主导地位,所以传统NAS无论在scaleout扩展方面,还是运维的方便性,还是使用者的易用性方面,都无法和对象存储相比。云对象存储的实施给企业现有的集中式 SAN 和 NAS 存储带来了...(more)
浏览2350
回答10
来自主题:对象存储 · 2018-12-04
zrosinessJSRCB 擅长领域:对象存储, 数据迁移, nas(网络附属存储)
23 会员关注
1)对象存储最适合的场景是影像系统。改造难度不大,重点在对对象权限的管理和容量规划2)目前主流的备份软件都已经支持对象存储作为备份的介质,支持对象存储作为目标端压缩和重删等功能。我们正在实施使用对象存储作为备份介质...(more)
浏览2453
回答4
来自主题:产品选型 · 2019-04-25
刘文CMBC 擅长领域:软件定义存储, AIX, 分布式存储
531 会员关注
昨日夜里无事,又针对这一问题思考了下,个人愚见,欢迎各位拍砖!票据影像是交易中的重要凭证,针对票据影像的业务特点,对大规模的票据影像数据存储系统,我总结了下,总共大致是有这么四个需求:1、既要保证海量小文件的高速录入、查询,又可以提供大文件的性能保证;2、票据影像的数据量未...(more)
浏览1269
回答5
来自主题:数据建模 · 2019-08-29
匿名用户
我觉得分几步来做:1.数据全部收集到一个数据平台。不管是实时的还是历史的。2.做好数据库的清洗和基础关联,和宽表的建立。3.根据对数据的实时性要求进行分级处理。4.成立每个业务分析团队在款表上做分析。5.分析的数据再返回宽表,并形成数据模型,共以后或其他业务线使用。...(more)
浏览1400
回答2
来自主题:大数据 · 2019-08-29
jamiee某股份制银行 擅长领域:实时数仓, 大数据, 银行大数据平台
1 会员关注
实时数据采集方面讲有OGG可以通过数据库日志的方式采集数据,Flume和logstash通过日志抓取数据,APM、F5等工具通过流量镜像抓取数据。从数据加工角度来讲,有Kafka、rabbitMQ等队列进行数据接收和消费,有Storm进行流式数据计算处理。从数据存储方面有redis、voltdb等内存数据库...(more)
浏览1366
回答2
来自主题:数据建模 · 2019-08-29
王奇阜新银行 擅长领域:实时数仓, 数据仓库, 数据建模
1 会员关注
所谓的实时数仓,最主要的就是当天的数据,银行最重要的是当天的流水。所以更多的需求都应该是银行的流水数据产生的。时时的数据量很少。只有当天或几天的数据(保存几天的数据可以增加容错的机制),各个理解时时数仓关注的应该是指标。而非各种各样的数据。模型也应该是轻量级的...(more)
浏览2816
回答8
来自主题:超融合 · 2018-10-24
liqxybankofluoyang 擅长领域:同城双活, 存储双活, SVC
8 会员关注
超融合存储方面使用的是本地磁盘,自身是分布式架构,对于上层数据来说就是多个副本分布在不同的计算节点上,如果这个场景里需要做数据双活,也可以单独使用SVC作为共享存储构建双活环境。...(more)
浏览3150
回答6
来自主题:数据备份 · 2019-08-08
王巧雷sino-bridge 擅长领域:数据备份, TSM, 备份
888 会员关注
复制技术、cdm、cdp这些吧,感觉像根据需求细化的市场。如同很多了存储复制、或者数据库复制的最后还有上备份。 这个界限很难区分,传统的备份软件也在与时俱进,比如hbase、mongodb等都开始支持,两者互相渗透吧。...(more)
浏览1457
回答1
来自主题:数据库 · 2019-03-08
bryan金融研发 擅长领域:容器云, paas, docker
257 会员关注
首先,逆向思考这个问题。先从目的出发,为什么要对业务数据建模能力进行评价?评价的目的是为了什么?一方面,如果一个系统能够满足各种业务需求,每个SQL语句响应时间很短,是不是就算作建模能力很好?一方面,从题干出发,考虑到系统的业务弹性,是不是说数据库的扩展能力呢?这个应该是在系...(more)
浏览1329
回答4
来自主题:VMware · 2019-04-18
he7yongCanway 擅长领域:CMDB, 银行自动化运维, 云计算
11 会员关注
你好!看完你的问题,对两个关键的定义存在分歧,参考Gartner的云管的三层定义1.云管平台,核心提供统一的云资源管理,云服务,和云资源的运营;2.私有云平台,核心是核心是提供资源;关于私有云的选型,核心看业务的述求,应用全微服务架构?传统应用架构+微服务架构?,私有云选型的过程中需要考虑...(more)
浏览2020
回答4
来自主题:Oracle数据库 · 2019-06-13
shangguanhaiyiustc 擅长领域:hbase, MongoDB, Oracle数据库
8 会员关注
做地市级大数据项目,有能力的是不是上大数据平台,Hadoop平台上面 hbase ,hive 都会用到,结构化数据库推荐用mysql系数据库,成本最小。考虑后期mysql可能闭源,还有MariaDB.oracle,mysql 是结构化数据库mongodb,hbase 是key-value 数据库,非机构化数据库。...(more)
浏览3512
回答7
来自主题:分布式存储 · 2019-04-19
wanggeng某银行 擅长领域:自动化运维, 分布式存储, ceph
301 会员关注
Hadoop HDFS(大数据分布式文件系统)Hadoop分布式文件系统(HDFS)是一个分布式文件系统,适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括:容...(more)
浏览3105
回答5
来自主题:大数据 · 2018-10-16
windix蚂蚁金服 擅长领域:大数据, spark, 大数据组件
161 会员关注
主要从管理方面入手:(1)金融机构可根据ISO27001国际标准,建立信息安全管理体系、形成制度化的信息安全规范。同时需要遵循制度实施,确保与信息安全相关的资源、技术、管理等均处于受控状态。(2)金融机构可根据内部网络区域中信息的敏感程度和功能,按不同的网络区域划分成不同安全...(more)
浏览2044
回答5
来自主题:Kubernetes · 2018-07-11
ynwssjxCMB  擅长领域:Kubernetes, 容器云, 微服务
7 会员关注
不论是IaaS还是PaaS,手工部署ELK都是不推荐的,通过ansible可以自动实现,至于如何实现,可以参考redhat文档:https://docs.openshift.org/3.9/install_config/aggregate_logging.html 至于说分布式存储、本地存储还是集中存储,这个没有既定答案,都是可以参考行业实现,比如Redhat就...(more)
浏览3268
回答4
来自主题:超融合 · 2018-06-03
yinxin某金融机构 擅长领域:虚拟化, 云计算, 数据库系统
787 会员关注
具体可以参考如下链接中的对比:http://www.talkwithtrend.com/Question/418459
浏览9250
回答1