大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:自动化运维
zjwy82 bank  擅长领域:自动化运维, 银行自动化运维, CMDB
47 会员关注
首先我表达个人观点,运维数据统一治理并非自动化的先行条件,需要先把运维数据概念的定义以及自动化运维的覆盖范围厘清。我更倾向于配置管理是自动化运维的先决条件。先说说对运维数据的理解,我所认为有几类,一类是描述生产资源的数据即我们常说的配置数据,另一类是生产资源运...(more)
浏览2828
回答9
来自主题:分布式存储
  • 时间:2019-10-25
  • 地点: 线上活动
  • 状态: 进行中
  • 浏览21028
    报名6
    来自主题:存储双活
    邓毓 江西农信  擅长领域:存储双活, SVC, 双活数据中心
    637 会员关注
    双活数据中心解决方案指两个数据中心均处于运行状态,可以同时承担生产业务,以提高数据中心的整体服务能力和系统资源利用率,实现RPO(RecoveryPointObjective),RTO(RecoveryTimeObjective)严苛的要求,将企业业务系统连续性提升至一个更高的台阶。目前,端到端双活数据中心解决方案中...(more)
    专栏: 最佳实践 争议
    浏览5314
    评论10
    来自主题:分布式存储
    Lucien168 滴滴  擅长领域:ceph, 分布式存储, CephFS
    78 会员关注
    1.说明介绍1.1基本原理cf5nzb0yaqeRBDMirror原理其实和MySQL的主从同步原理非常类似,前者基于journaling,后者基于binlog,简单地说就是利用日志进行回放(replay):通过在存储系统中增加Mirror组件,采用异步复制的方式,实现异地备份。(此处的journal是指CephRBD的journal,而不是OS...(more)
    浏览1978
    评论1
    推荐会员
    来自主题:Hadoop
    匿名用户
    收藏15
    评价33
    金币5
    来自主题:分布式存储
    Lucien168 滴滴  擅长领域:ceph, 分布式存储, CephFS
    78 会员关注
    1.常见MON故障处理Monitor维护着Ceph集群的信息,如果Monitor无法正常提供服务,那整个Ceph集群就不可访问。一般来说,在实际运行中,CephMonitor的个数是2n+1(n>=0)个,在线上至少3个,只要正常的节点数>=n+1,Ceph的Paxos算法就能保证系统的正常运行。所以,当Monitor出现故障的...(more)
    浏览601
    评论1
    来自主题:分布式存储
    Lucien168 滴滴  擅长领域:ceph, 分布式存储, CephFS
    78 会员关注
    3.常见PG故障处理3.1PG无法达到CLEAN状态创建一个新集群后,PG的状态一直处于active,active+remapped或active+degraded状态,而无法达到active+clean状态,那很可能是你的配置有问题。你可能需要检查下集群中有关Pool、PG和CRUSH的配置项,做以适当的调整。一般来说,你的集群中需...(more)
    浏览1549
    评论2
    来自主题:对象存储
    该来的总会来 华润  擅长领域:网络安全, 云计算, 大数据
    107 会员关注
    根据德勤的估算,非结构化数据在全球携带信息的内容中的占比高达80%-90%。从结构化数据中获取信息是企业数字化转型所必备的技能。而由于访问和处理非结构化数据既昂贵又困难,目前大多数企业对非结构化数据价值的开发还远远不够。IDC预测,到2020年,相比做不到分析结构化数据和...(more)
    浏览9025
    评论2
    来自主题:机器学习
    总有刁民想害朕 ansteel  擅长领域:Kubernetes, Swarm, docker
    69 会员关注
    1项目概述本项目需解决的问题本项目通过利用P2P平台LendingClub的贷款数据,进行机器学习,构建贷款违约预测模型,对新增贷款申请人进行预测是否会违约,从而决定是否放款。建模思路以下是本次项目机器学习工作流程,实际操作中,其实每个步骤都是反复迭代的过程。2场景解析(算法选择...(more)
    浏览10836
    评论2
    来自主题:大数据
    黄呆毛 上海汽车  擅长领域:大数据, 存储, 开源软件
    26 会员关注
    在大数据领域,健康医疗行业是大家雄心勃勃想做出一番事业的热门目标行业。近期德勤进行的一项新调查显示,医疗界人士正在聚焦大数据分析,357名受访者中有84%认为大数据分析对他们的长期竞争成功来说“非常”或“非常重要”。负责运维国家健康医疗大数据中心的杰若创一直对大...(more)
    浏览9259
    评论3
    来自主题:分布式存储
    智诩 hanergy
    10 会员关注
    收藏32
    评价46
    金币1
    来自主题:大数据
    韩成亮 KE  擅长领域:MySQL, 数据库, Oracle
    301 会员关注
    关于问题1其实可以采用syner 实时同步https://pingcap.com/docs-cn/stable/reference/tools/syncer/ Syncer 是一个数据导入工具,能方便地将 MySQL 的数据增量导入到 TiDB,支持分库 或者直接采用DM,参考https://pingcap.com/docs-cn/stable/reference/tools/data-migration/...(more)
    浏览1137
    回答1
    来自主题:人工智能
    James_Liu AXA  擅长领域:Linux, Kubernetes, 人工智能
    104 会员关注
    【导读】知识图谱技术是人工智能技术的组成部分,其强大的语义处理和互联组织能力,为智能化信息应用提供了基础。我们专知的技术基石之一正是知识图谱-构建AI知识体系-专知主题知识树简介。下面我们特别整理了关于知识图谱的技术全面综述,涵盖基本定义与架构、代表性知识图谱...(more)
    浏览7626
    评论2
    来自主题:大数据
    匿名用户
    收藏5
    评价17
    金币5
    来自主题:AIX
    Lancer 互联网  擅长领域:大数据, MySQL, 中间件
    444 会员关注
    1、技术顾问岗工作职责1.驱动制定全行应用系统架构规划、设计方案,并对开发实施方案进行评估审核,对重要平台选型、技术选型和方案策略进行评估和审定;2.制定科技开发技术规范、技术平台标准以及发展战略,并结合相关规范进行评审、评估,针对技术、质量风险组织排查和相关整改...(more)
    浏览8296
    来自主题:存储双活
    邓毓 江西农信  擅长领域:存储双活, SVC, 双活数据中心
    637 会员关注
    在上篇文章《五种业界主流存储双活方案解析(方案特点)》中,笔者从华为HyperMetro、EMCVplex、IBMSVC、HDSGAD和NetAppMetroCluster等五个厂商方案的特点入手,详细介绍了这些方案的存储层组网、I/O访问路径、数据一致性保证(读写缓存、锁、同步技术等)和独特的机制特性等内容,站...(more)
    专栏: 最佳实践 争议
    浏览4278
    评论3
    来自主题:spark
    时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
    187 会员关注
    1概述2015年以来,随着股市的持续火爆,中国证监会、证券业协会先后发布相关文件,要求对证券公司外部信息系统接入风险加强行业监管和自律。其中要求证券公司应当建立投资者证券、资金账户风险监测模型,动态监测账户交易行为特征、客户交易终端定位信息、账户资金进出等情况,及...(more)
    浏览7218
    评论1
    来自主题:分布式存储
    吕作令 XSKY  擅长领域:分布式存储, ceph, OpenStack
    7 会员关注
    不建议,建议硬盘直通进操作系统。做2-3副本保障数据安全。 1、如果在底层配置RAID组,把VD给Ceph,只做单副本相当于每个VD一个OSD。在VD出现问题后,由于数据是1副本,会数据丢失风险。2、底层RAID在做数据恢复时,也会影响ceph集群异常3、增加了集群运维难度,增大了集群风险点...(more)
    浏览3450
    回答1
    来自主题:需求分析
  • 时间:2017-09-29
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览61502
    报名53
    来自主题:大数据
    VOLVO 农信社  擅长领域:大数据, 知识图谱, 银行知识图谱
    59 会员关注
    摘要在银行日常经营中,无论是风险防控还是客户营销,都有较多的关联关系数据分析场景,如担保圈、洗钱模型、资金链追踪等。因传统关系型数据库的数据建模和数据储存结构原因,其在关联关系分析的应用方案弊端较多。本文介绍了某省农信社将图数据库和图算法等知识图谱理论的相关...(more)
    专栏: 最佳实践
    浏览6074
    评论7
    来自主题:大数据
    windix 蚂蚁金服  擅长领域:大数据, spark, 大数据组件
    153 会员关注
    一、券商实施个性化推荐项目的必要性1.1个性化推荐技术发展背景目前,随着用户接收到的信息量爆炸般增长,传统的推荐以及服务方式的边际收益正在不断减少,用户个性化的需求变得越来越多。大数据实时个性化服务,主要基于大数据用户画像、产品画像建设成果,结合实时流计算框架,以...(more)
    专栏: 最佳实践
    浏览7804
    评论4
    来自主题:大数据
    yeliye 某农信  擅长领域:数据库, 数据中心, 高可用
    1 会员关注
    Integerprogramming,整数规划是指规划中的变量(全部或部分)限制为整数;如果所有决策变量均要求为整数,则是纯整数规划pureintegerprogramming;如果部分决策变量要求为整数,则是混合整数规划,mixedintegerprogramming.一、业务问题描述:这是一个仓库选址和配送的问题,具体要求如下:...(more)
    浏览5374
    评论1
    来自主题:大数据
    时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
    187 会员关注
    收藏9
    评价24
    金币3
    来自主题:华为
    lxue 某互联网公司  擅长领域:数据库, 数据丢失, PostgreSQL
    31 会员关注
    因华为误操作导致广西80万移动用户数据丢失一事仍在发酵中,近日,有消息称,因为此次事故,华为已经被中国移动处以5亿罚款,同时中国移动已经展开全国范围的系统大排查,主要针对华为第三方代维隐患问题。据了解,此次故障影响面非常大,涉及到钦州、北海、防城港、桂林、梧州、贺州等...(more)
    浏览4275
    评论4
    来自主题:spark
    哈杜普 百度  擅长领域:大数据, 批处理, spark
    28 会员关注
    前言说起大数据处理,一切都起源于Google公司的经典论文:《MapReduce:SimpliedDataProcessingonLargeClusters》。在当时(2000年左右),由于网页数量急剧增加,Google公司内部平时要编写很多的程序来处理大量的原始数据:爬虫爬到的网页、网页请求日志;计算各种类型的派生数据:倒排索...(more)
    浏览3479
    来自主题:分布式存储
    智诩 hanergy
    10 会员关注
    收藏6
    评价21
    金币1
    heray2323 中山大学附属肿瘤医院  擅长领域:医院信息集成平台, 数据集成平台, 大数据
    131 会员关注
    集成平台是解决集成交互的问题;临床数据中心cdr解决的结构化数据统一存储,标准化,数据提供的问题;大数据平台的部分数据可以直接从CDR获取,或者通过集成平台的总线消息分发机制,在数据进入CDR前,直接提供给大数据平台。...(more)
    浏览1068
    回答2
    来自主题:大数据
    Lancer 互联网  擅长领域:大数据, MySQL, 中间件
    444 会员关注
    总行行员一分布式数据库管理岗职责描述:核心业务开放平台分布式架构设计.负责分布式数据库核心模块设计、开发、测试及管理,如:分布式存储引擎、计算引擎,分布式事务引擎,以及列存储、索引等.负责分布式数据库系统相关的关键技术跟踪、规划、设计和新功能的原型开发.负责提升...(more)
    浏览15145
    评论1
    来自主题:分布式存储
  • 时间:2019-04-26
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览49821
    报名152
    来自主题:分布式存储
    sdtimothy8 浪潮商用机器有限公司  擅长领域:分布式存储, ceph, 集群
    1 会员关注
    收藏7
    评价6
    金币1
    来自主题:大数据
    windix 蚂蚁金服  擅长领域:大数据, spark, 大数据组件
    153 会员关注
    一、前言近年来互联网的新业形态快速涌现,互联网金融和金融大数据快速发展,对经济提质增效的促进作用不断凸显。阿里巴巴、腾讯、百度等数据研发应用企业开始引领数据产业的发展。同时政府和科研机构也高度关注大数据。2012年:广东省启动了《广东省实施大数据战略工作方案》...(more)
    专栏: 最佳实践
    浏览5463
    评论1
    来自主题:存储双活
    邓毓 江西农信  擅长领域:存储双活, SVC, 双活数据中心
    637 会员关注
    在之前的文章《五种业界主流存储双活方案解析(方案特点)》中,笔者对华为HyperMetro、EMCVplex、IBMSVC、HDSGAD和NetAppMetroCluster等五个厂商存储双活方案的特点、仲裁需求、仲裁机制和两地三中心扩展方案进行了详细的解析。在本篇文章中,笔者将从另一个角度,也是存储双活方...(more)
    专栏: 最佳实践 争议
    浏览8347
    评论3
    来自主题:招聘
    Lancer 互联网  擅长领域:大数据, MySQL, 中间件
    444 会员关注
    一、信息科技部直属架构管理部1、架构管理部部门经理(1名)岗位职责:(1)负责全行信息科技总体应用架构管理,统筹全行技术架构、数据架构管理;(2)参与核心系统、信贷系统、互联网渠道类系统、大数据类系统及基础设施架构设计及管理,推动整体架构的持续优化;(3)主导部门重大项目的业务分...(more)
    浏览5969
    评论2
    来自主题:MySQL
  • 时间:2017-01-12
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览189039
    报名86
    来自主题:大数据
    时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
    187 会员关注
    收藏10
    评价11
    金币5
    来自主题:认知医疗
  • 时间:2017-08-02
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览63612
    报名68
    来自主题:分布式存储
    Garyy 某保险  擅长领域:容器, docker, Kubernetes
    259 会员关注
    前言:物联网(IoT)的蓬勃发展推动了结构化/非结构化数据的空前增长,不仅给企业带来了发掘新客户、创造新收入来源的巨大机会。也给企业传统存储架构带来了很大的挑战,具体表现:1)弹性扩展能力差,扩容成本高2)运维管理复杂,对运维人员技术能力要求高3)多种异构存储之间易形成资源孤...(more)
    专栏: 活动总结
    浏览4077
    来自主题:ceph
    haozhangsir 银华  擅长领域:VPLEX, 对象存储, ceph
    16 会员关注
    1:对象存储存储局域网(SAN)和网络附加存储(NAS)是目前两种主流传统的网络存储架构,而对象存储(Object-basedStorage)是一种新的网络存储架构。1999年成立的全球网络存储工业协会(SNIA)的对象存储设备工作组发布了ANSI的X3T10标准。总体上来讲,对象存储综合了NAS和SAN的优点,同时具有...(more)
    专栏: 最佳实践
    浏览5206
    评论5
    来自主题:大数据
    时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
    187 会员关注
    收藏6
    评价18
    金币2
    来自主题:招聘
    Lancer 互联网  擅长领域:大数据, MySQL, 中间件
    444 会员关注
    一、适用于所有岗位的应聘要求·诚实守信、公道正派、敬业爱岗、勇于创新;·具有较强的工作责任心、良好的团队合作精神和组织协调沟通能力;·具备良好的英语听说读写能力,能熟练运用电脑办公软件。·特别优秀者,可适当放宽年龄、工作年限等基本应聘条件。二、报名方式登录我...(more)
    浏览6364
    评论1
    来自主题:超融合
    yinxin 某金融机构  擅长领域:虚拟化, 云计算, 数据库系统
    779 会员关注
    具体可以参考如下链接中的对比:http://www.talkwithtrend.com/Question/418459
    浏览8678
    回答1
    来自主题:大数据
    lzg21st brcb  擅长领域:对象存储, 软件定义存储, 存储
    654 会员关注
    收藏14
    评价10
    金币1
    来自主题:大数据
  • 时间:2018-10-19
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览40200
    报名30
    来自主题:分布式存储
    zrosiness JSRCB  擅长领域:对象存储, 数据迁移, nas(网络附属存储)
    23 会员关注
    1前言随着大数据时代的到来,使得诸多互联网金融企业服务更加智能化、营销更加精准化,作为银行业首当其冲面对来自互联网金融的强大压力,如何在新时代继续保持领先,准确识别金融风险,提供更加优质和差异化服务,是银行业首先想到的问题。大数据环境下,非结构化数据结构不固定,没有...(more)
    专栏: 活动总结
    浏览4535
    来自主题:分布式存储
    fanyqing 厦门银行  擅长领域:hdfs, 分布式存储, ceph
    8 会员关注
    摘要:随着数字化转型的深入,海量数据对存储提出了新的要求。传统存储虽然有技术成熟、性能良好、可用性高等优点,但面对海量数据,其缺点也越来越明显:如扩展性差、成本高等。为了克服上述缺点,满足海量数据的存储需求,市场上出现了分布式存储技术。分布式存储系统,通常包括主控服...(more)
    浏览8668
    评论1
    来自主题:银行
    Cyrus72 某银行  擅长领域:大数据, 机器学习
    11 会员关注
    一、机器学习平台与大数据平台的关系澄清机器学习平台和大数据平台没有硬性的关系,比如很多同业在没有大数据平台之前就借助SAS、SPSS等建模工作进行建模,且在相关领域也取得了不错的成绩,比如评分卡等。在我们看来大数据平台和SAS等传统的建模平台有以下差别:但是由于近期银...(more)
    专栏: 趋势观点
    浏览5012
    来自主题:大数据分析
    拨乱反正 帆软软件
    7 会员关注
    帆软图表(新特性)最新版本的图表插件新增了甘特图与框架图两种图表类型,大大方便了生产管理所需,同时支持流向地图的大数据模式。一.甘特图甘特图又称任务计划进度图,其通常用来表示项目进展随着时间进度的变化。甘特图被广泛的应用在各行业的项目管理中,因此帆软在最新的图表...(more)
    浏览2948