大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:灾备演练 · 6天前
邓毓江西农信 擅长领域:存储双活, SVC, 双活数据中心
604 会员关注
由于灾难演练过程时间窗口有限,在生产切到在灾备做真实的业务演练后,会产生很多演练数据,值得关注的是账务数据和真实客户数据,据我了解,通用的做法有三种:1、建立了生产和灾备存储间的实时/异步同步和切换后的反向复制,当生产切到灾备后,复制关系也将同步反转,由灾备存储实时/异...(more)
浏览1543
回答2
来自主题:spark · 2019-08-12
阳海某平台架构部高级技术经理 擅长领域:分布式数据库, 数据库, MySQL
226 会员关注
1.你既然了解这些,不然后自己装上去试试,体会下和自己需求的切合度。2.目前这几个工具都有一定的公司在使用,应用相对比较多的是HUE, Oozie 。
浏览758
回答1
来自主题:数据备份 · 2019-08-08
王巧雷Veritas 擅长领域:数据备份, TSM, 备份
850 会员关注
复制技术、cdm、cdp这些吧,感觉像根据需求细化的市场。如同很多了存储复制、或者数据库复制的最后还有上备份。 这个界限很难区分,传统的备份软件也在与时俱进,比如hbase、mongodb等都开始支持,两者互相渗透吧。...(more)
浏览1165
回答1
来自主题:TensorFlow · 2019-08-02
如何解决在实时大流量下,多业务场景的模型在 tensorflow上实时性的问题 ?
浏览431
来自主题:大数据 · 2019-08-01
匿名用户
找到一个文档,供你做个参考。
浏览466
回答1
来自主题:Hadoop · 2019-07-27
美国队长Alibaba 擅长领域:大数据, Hadoop, spark
283 会员关注
这个应该是版本的原因造成的,建议你到官网参照你是用的版本,然后根据错误提示guava版本看一下,版本号是否一致
浏览683
回答1
来自主题:数据备份 · 2019-07-25
陈星星人工智能(计算机视觉) 擅长领域:分布式存储, 大数据, SVC
318 会员关注
数据量越来越大,如果是大数据项目,数据量越大,发挥的价值才会越大,此时就不能采用传统的备份技术来保障数据和业务的可靠性了,大数据架构底层均采用分布式架构1、前端业务,采用多台服务器并行计算(MR 、Spark、Storm等计算框架)2、底层数据采用多副本机制,副本之间实现自动的复制...(more)
浏览569
回答1
来自主题:私有云 · 2019-07-24
省级媒体,主要业务是文件存储,和音频制作的应用,有专业技术人员。存储规模50-80T,存储的增长速度不快,如果业务放在公有云上也要本地进行备份,现在就考虑5年为一个周期,选择公有云还是私有云呢?...(more)
浏览469
来自主题:Hadoop · 2019-07-24
匿名用户
这类文档在社区里面特别多,你可以直接搜索。 ubuntu14.04上安装openstack的手册权威http://www.talkwithtrend.com/Document/detail/tid/122877 OpenStack完整安装手册(CentOS6.2)http://www.talkwithtrend.com/Document/detail/tid/138099 centos 安装配置 hadoop 超详细...(more)
浏览541
回答1
来自主题:CMDB · 2019-07-23
zhh321中国人寿数据中心 擅长领域:CMDB, 数据治理
9 会员关注
从时间结构上看,CMDB和其他活动的因果关系分为两种:一种是先“变更”再更新CMDB,变更活动是“因”,CMDB是果。这种情况CMDB比较被动,你要么要(gui)求(qiu)人家改你的CMDB,要么想办法通过数据发现自动捕捉人家的变化。另一种是先更新CMDB,再实施变更。CMDB是因,变更活动是“果”。...(more)
浏览875
回答2
来自主题:CMDB · 2019-07-22
zhh321中国人寿数据中心 擅长领域:CMDB, 数据治理
9 会员关注
如果您指的是CMDB数据治理,那问题和 http://www.talkwithtrend.com/Question/426353 比较类似。如果是整个公司IT数据治理,话题就大了。DAMA(国际数据管理协会)数据管理职能框架内容非常丰富,但具体落地时您提到的这种情况,根本冲突,个人觉得从“成本-收益”角度来分析。首先,...(more)
浏览695
回答1
来自主题:产品选型 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行大数据产品的选型一般会考虑三大因素:选什么样的产品、该产品的什么版本、行业的应用案例。1) 选什么样的产品根据具体的业务或者应用的需求,选择合适的技术组件。对银行而言,技术组件一般要选择Apache社区下的活跃度比较高的,这样才能保证该组件在未来比较长的时间内具...(more)
浏览1537
回答1
来自主题:银行大数据平台 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
大数据平台的工程实施步骤如下:1) 编写项目需求分析书,确定平台的架构2) 完成容量规划和确定各种配置,发起硬件采购3) 编写项目概要设计文档和详细设计文档,指导开发4) 测试环境安装,进行测试要注意以下几点:a)因为大数据的技术组件是开源的,版本更新的比较快,注意及时引入新的版...(more)
浏览587
回答1
来自主题:扩容改造 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行大数据平台项目建设中,涉及到新购或扩容改造的产品、资源主要分为软件和硬件。1) 硬件:主要是X86的服务器和万兆交换机2) 软件主要是使用大数据平台的应用的改造:a)JDK版本的升级b)和大数据平台组件模块的开发...(more)
浏览711
回答1
来自主题:架构设计 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行在进行大数据平台建设的时候,一般首先会从整体上进行规划设计,完成架构设计方案包括逻辑架构、数据架构、技术架构、物理架构等。逻辑架构主要描述了大数据平台的主要组成模块以及各个模块的主要作用。一般会包括数据源、数据获取、数据服务(数据同构区、数据基础区、数...(more)
浏览787
回答1
来自主题:大数据 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行在建设大数据平台的过程中,不可避免地遇到各种技术难点问题。遇到难点问题时,项目组需协调各种资源解决这个问题。在使用kafka(0.8.2.1)的时候,遇到一个很诡异的问题,具体如下:应用调用kafka的API往kafka里发送数据,每隔一段时间后(大概发送百万笔报文后),发送端就会出现OOM的问...(more)
浏览1757
回答1
来自主题:厂商选型 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
因为大数据平台是基于X86架构的PC服务器,所以客户在建设大数据平台的时候,软件和硬件是按照不同的采购方式。硬件一般会选择联想、浪潮和华为的X86服务器;软件一般会从业界著名的大数据产品和方案供应商里采购。目前在银行业中,大数据平台的供应商主要为华为、中兴、星环以及...(more)
浏览1375
回答1
来自主题:系统设计 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行业建设大数据平台建设最终是为银行的各种业务服务的,所以收集银行的各种需求(业务需求、应用需求等)是最基础的一步。大数据应用系统的功能模块从本质上主要分为三种:批量计算、流式计算、实时查询。对于每种模块,大致的数据需求如下表所示:...(more)
浏览1206
回答1
来自主题:银行大数据平台 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
银行在大数据平台建设中,对于技术路线的选择呈现的是大致类似的方式:主要是以开源技术为主,自主跟踪、掌控、应用、创新或联合业内专业大数据技术公司合作应用创新。 银行的大数据平台包括存储、计算(批量和流式)、展现、挖掘以及权限管理等功能模块,关于每个模块的技术路线的...(more)
浏览1575
回答1
来自主题:大数据 · 2019-07-22
haohaopku某银行 擅长领域:银行大数据平台, 大数据
目前银行业很早已经认识到大数据的重要性,利用开源的技术组件来建立大数据平台整合行里的数据资源,从而进一步挖掘数据的内涵价值,支持银行业务。目前本人身处商业银行,所以我只能谈谈商业银行大数据平台推进和落地的大致情况。大数据平台在大中型商业银行已经落地开花,相应的...(more)
浏览1727
回答1