大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
来自主题:SVC
邓毓 江西农信  擅长领域:存储双活, SVC, 双活数据中心
607 会员关注
双活数据中心解决方案指两个数据中心均处于运行状态,可以同时承担生产业务,以提高数据中心的整体服务能力和系统资源利用率,实现RPO(Recovery Point Objective),RTO(Recovery Time Objective)严苛的要求,将企业业务系统连续性提升至一个更高的台阶。目前,端到端双活数据中心解决方...(more)
专栏: 最佳实践 争议
浏览4175
评论7
来自主题:Hadoop
匿名用户
收藏15
评价32
金币5
来自主题:实时数仓
王奇 阜新银行  擅长领域:实时数仓, 数据仓库, 数据建模
1 会员关注
所谓的实时数仓,最主要的就是当天的数据,银行最重要的是当天的流水。所以更多的需求都应该是银行的流水数据产生的。时时的数据量很少。只有当天或几天的数据(保存几天的数据可以增加容错的机制),各个理解时时数仓关注的应该是指标。而非各种各样的数据。模型也应该是轻量级的...(more)
浏览2036
回答8
来自主题:机器学习
sunwei3 EBSCN  擅长领域:VMware, 虚拟机, 故障诊断
34 会员关注
本文选自 《交易技术前沿》总第三十五期文章(2019年8月) 晏强 杨超 吴浩 孙伟 / 光大证券信息技术总部 1、引言 证券行业对信息系统的实时性、连续性有极高的要求,根据《证券期货业信息安全事件报告与调查处理办法》,将信息安全事件分为特别重大事件、重大事件、较大事件...(more)
浏览4307
来自主题:实时数仓
jamiee 某股份制银行  擅长领域:实时数仓, 大数据, 银行大数据平台
1 会员关注
实时数仓应用的场景的情况在金融传统行业如何呢?结合银行来说目前实时数仓应用与风险控制场景完美契合,对于实时数仓的使用,可以使用风险的识别提前,有效的降低银行的损失,保证银行的利益。另外一个场景银行的互联网金融业务发展越发迅猛,实时数据量要比传统数据量更加大的多,因...(more)
浏览1427
来自主题:分布式存储
智诩 hanergy
10 会员关注
收藏31
评价44
金币1
来自主题:机器学习
总有刁民想害朕 ansteel  擅长领域:Kubernetes, Swarm, docker
57 会员关注
1 项目概述 本项目需解决的问题 本项目通过利用P2P平台Lending Club的贷款数据,进行机器学习,构建贷款违约预测模型,对新增贷款申请人进行预测是否会违约,从而决定是否放款。 建模思路 以下是本次项目机器学习工作流程,实际操作中,其实每个步骤都是反复迭代的过程。 2 场...(more)
浏览9464
评论1
来自主题:大数据
黄呆毛 上海汽车  擅长领域:大数据, 存储, 开源软件
23 会员关注
在大数据领域,健康医疗行业是大家雄心勃勃想做出一番事业的热门目标行业。近期德勤进行的一项新调查显示,医疗界人士正在聚焦大数据分析,357名受访者中有84%认为大数据分析对他们的长期竞争成功来说“非常”或“非常重要”。 负责运维国家健康医疗大数据中心的杰若创一直对...(more)
浏览9086
评论3
来自主题:机器学习
时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
175 会员关注
收藏9
评价11
金币5
来自主题:SVC
邓毓 江西农信  擅长领域:存储双活, SVC, 双活数据中心
607 会员关注
在之前的文章《五种业界主流存储双活方案解析(方案特点)》中,笔者对华为 HyperMetro 、 EMC Vplex 、 IBM SVC 、 HDS GAD 和 NetApp MetroCluster 等五个厂商存储双活方案的特点、仲裁需求、仲裁机制和两地三中心扩展方案进行了详细的解析。在本篇文章中,笔者将从另一个角度...(more)
专栏: 最佳实践 争议
浏览8062
评论3
来自主题:对象存储
该来的总会来 华润  擅长领域:网络安全, 云计算, 大数据
104 会员关注
根据德勤的估算,非结构化数据在全球携带信息的内容中的占比高达80%-90%。从结构化数据中获取信息是企业数字化转型所必备的技能。而由于访问和处理非结构化数据既昂贵又困难,目前大多数企业对非结构化数据价值的开发还远远不够。 IDC预测,到2020年,相比做不到分析结构化数据...(more)
浏览8917
评论2
来自主题:大数据
时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
175 会员关注
收藏9
评价24
金币3
来自主题:机器学习
刘康 日志易  擅长领域:银行日志分析系统, Zabbix
3 会员关注
看公司实力吧,如果只是想省事可以购买一套(比如我司的)。如果想针对自己公司的特定的环境的话很可能就得自己开发了。 但是我建议只是研究算法部分就好了,至于数据采集之类的前期工作网上找找开源的就行了。 ...(more)
浏览665
回答1
来自主题:机器学习
风控中机器学习模型和传统规则怎么有机结合,一张卡在一段时间内消费两次的离散化和连续化表示是什么,组合特征是否能提高模型的可解释性,如果是,为什么能提高,以及它怎么体现在模型的可解释性上...(more)
浏览779
回答1
来自主题:报表
王奇 阜新银行  擅长领域:实时数仓, 数据仓库, 数据建模
1 会员关注
我们银行目前也在用FusionInsight大数据平台C8.0版本,实时数据可以放到HBASE里面,用HIVE ON HBASE的方式去处理实时的数据,SPARK SQL处理轻量级别的数据没有问题,大量的数据SPARK SQL 不合适,SPAKR 的计算单元RDD每一个动作都会有一个RDD产生对内存要求很高。...(more)
浏览2069
回答2
来自主题:实时数仓
匿名用户
我觉得分几步来做:1.数据全部收集到一个数据平台。不管是实时的还是历史的。2.做好数据库的清洗和基础关联,和宽表的建立。3.根据对数据的实时性要求进行分级处理。4.成立每个业务分析团队在款表上做分析。5.分析的数据再返回宽表,并形成数据模型,共以后或其他业务线使用。...(more)
浏览1117
回答2
来自主题:批处理
lxk215313951 城市商业银行  擅长领域:数据同步, 双活数据中心, 银行存储双活
12 会员关注
大数据处理,这是hbase等数据库的强项呀,建议选用hadoop平台进行存储、处理,硬件直接堆x86服务器就行,性价比高
浏览1091
回答1
来自主题:智能风控
数据作为智能风控的基础,但是银行行业的数据具有保密性,对外共享的数据有限,而且有些机构是不允许对外发布交易数据,这会导致数据也不全,在数据存在缺陷的条件下,智能风控得出的结论是否具有可参考性?...(more)
浏览1585
回答1
来自主题:智能风控
国际银行行业对于智能风控的实施案例有哪些,是否可借鉴?基于的文章理论又有哪些?
浏览1507
回答1
来自主题:人工智能
  • 时间:2017-09-29
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览59952
    报名53
    来自主题:智能风控
    以智能风控的反欺诈为例,判断用户为存在欺诈行为,如何形成报告对这个结论进行论证,以便更好的对用户进行解说或立案,机器学习的难点之一是如何对结果进行解释,是否足以应对客户的投诉?如果涉及法律问题是否可以作为立案证据?...(more)
    浏览1478
    回答1
    来自主题:大数据
    时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
    175 会员关注
    收藏6
    评价18
    金币2
    来自主题:人工智能
    James_Liu AXA  擅长领域:知识图谱, Linux, 人工智能
    99 会员关注
    【导读】知识图谱技术是人工智能技术的组成部分,其强大的语义处理和互联组织能力,为智能化信息应用提供了基础。我们专知的技术基石之一正是知识图谱-构建AI知识体系-专知主题知识树简介。下面我们特别整理了关于知识图谱的技术全面综述,涵盖基本定义与架构、代表性知识图谱...(more)
    浏览7271
    评论2
    来自主题:分布式存储
  • 时间:2019-04-26
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览44661
    报名152
    来自主题:spark
    时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
    175 会员关注
    1 概述 2015年以来,随着股市的持续火爆,中国证监会、证券业协会先后发布相关文件,要求对证券公司外部信息系统接入风险加强行业监管和自律。其中要求证券公司应当建立投资者证券、资金账户风险监测模型,动态监测账户交易行为特征、客户交易终端定位信息、账户资金进出等情况...(more)
    浏览6948
    评论1
    来自主题:SVC
    邓毓 江西农信  擅长领域:存储双活, SVC, 双活数据中心
    607 会员关注
    在上篇文章《五种业界主流存储双活方案解析(方案特点)》中,笔者从华为 HyperMetro 、 EMC Vplex 、 IBM SVC 、 HDS GAD 和 NetApp MetroCluster 等五个厂商方案的特点入手,详细介绍了这些方案的存储层组网、 I/O 访问路径、数据一致性保证(读写缓存、锁、同步技术等)和独特的...(more)
    专栏: 最佳实践 争议
    浏览3630
    评论2
    来自主题:机器学习
    Cyrus72 某银行  擅长领域:大数据, 机器学习
    4 会员关注
    一、机器学习平台与大数据平台的关系澄清 机器学习平台和大数据平台没有硬性的关系,比如很多同业在没有大数据平台之前就借助 SAS 、 SPSS 等建模工作进行建模,且在相关领域也取得了不错的成绩,比如评分卡等。在我们看来大数据平台和 SAS 等传统的建模平台有以下差别: 但...(more)
    专栏: 趋势观点
    浏览4377
    来自主题:Db2
    Lancer 互联网  擅长领域:大数据, MySQL, 中间件
    424 会员关注
    1、技术顾问岗 工作职责 1.驱动制定全行应用系统架构规划、设计方案,并对开发实施方案进行评估审核,对重要平台选型、技术选型和方案策略进行评估和审定; 2.制定科技开发技术规范、技术平台标准以及发展战略,并结合相关规范进行评审、评估,针对技术、质量风险组织排查和相...(more)
    浏览7887
    来自主题:实时数据处理
    王奇 阜新银行  擅长领域:实时数仓, 数据仓库, 数据建模
    1 会员关注
    OGG数据抽取和解析,KAFKA数据的传输,HBASE数据存储。这是最简单的如果需要计算一些指标,可以用SPARK-STREAMING.  特别提醒:大数据的每个组件应用的场景不一样,使用时一定要注意自己的应用场景...(more)
    浏览1149
    回答3
    来自主题:Redis
    windix 蚂蚁金服  擅长领域:大数据, spark, 大数据组件
    128 会员关注
    一、券商实施个性化推荐项目的必要性 1.1 个性化推荐技术发展背景 目前,随着用户接收到的信息量爆炸般增长,传统的推荐以及服务方式的边际收益正在不断减少,用户个性化的需求变得越来越多。大数据实时个性化服务,主要基于大数据用户画像、产品画像建设成果,结合实时流计算框...(more)
    专栏: 最佳实践
    浏览7314
    评论4
    来自主题:超融合
    yinxin 某金融机构  擅长领域:虚拟化, 云计算, 数据库系统
    764 会员关注
    具体可以参考如下链接中的对比:http://www.talkwithtrend.com/Question/418459
    浏览6895
    回答1
    来自主题:数据仓库
    王奇 阜新银行  擅长领域:实时数仓, 数据仓库, 数据建模
    1 会员关注
    这个问题比较大啊。1 数据的收集 .ODS2.想好大数据和传统数仓之间的关系3.传统数据与大数据之间的数据交互
    浏览1448
    回答1
    来自主题:分布式存储
    智诩 hanergy
    10 会员关注
    收藏6
    评价19
    金币1
    来自主题:大数据
    yeliye 某农信  擅长领域:数据库, 数据中心, 高可用
    1 会员关注
    Integer programming, 整数规划是指规划中的变量(全部或部分)限制为整数;如果所有决策变量均要求为整数,则是纯整数规划pure integer programming;如果部分决策变量要求为整数,则是混合整数规划,mixedinteger programming. 一、业务问题描述:这是一个仓库选址和配送的问题,具体要...(more)
    浏览4721
    评论1
    来自主题:机器学习
    时东南 外资银行  擅长领域:人工智能, 知识图谱, spark
    175 会员关注
    收藏4
    评价8
    金币5
    来自主题:华为
    lxue 某互联网公司  擅长领域:数据库, 数据丢失, PostgreSQL 10
    29 会员关注
    因华为误操作导致广西80万移动用户数据丢失一事仍在发酵中,近日,有消息称,因为此次事故,华为已经被中国移动处以5亿罚款,同时中国移动已经展开全国范围的系统大排查,主要针对华为第三方代维隐患问题。 据了解,此次故障影响面非常大,涉及到钦州、北海、防城港、桂林、梧州、贺州...(more)
    浏览4120
    评论4
    来自主题:MySQL
  • 时间:2017-01-12
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览184573
    报名86
    来自主题:大数据
    silencely 阿里  擅长领域:机器学习, OpenStack, 存储
    82 会员关注
    收藏5
    评价10
    金币5
    来自主题:大数据
    VOLVO 农信社  擅长领域:大数据, 知识图谱, 银行知识图谱
    48 会员关注
    摘要 在银行日常经营中,无论是风险防控还是客户营销,都有较多的关联关系数据分析场景,如担保圈、洗钱模型、资金链追踪等。因传统关系型数据库的数据建模和数据储存结构原因,其在关联关系分析的应用方案弊端较多。本文介绍了某省农信社将图数据库和图算法等知识图谱理论的相...(more)
    专栏: 最佳实践
    浏览5803
    评论7
    来自主题:大数据
    匿名用户
    收藏5
    评价17
    金币5
    来自主题:数据治理
    amu0722 打毛党  擅长领域:cognos, 数据库, 商业智能
    47 会员关注
    基本上讲数据治理,会先从主数据的梳理开始。仅供参考。
    浏览1257
    回答1
    来自主题:大数据
    rein07 某证券  擅长领域:大数据, 人工智能, 证券大数据平台
    284 会员关注
    数据源来源于企业内部各种系统数据。数据管理是个非常浩大的工程,主要的工作在于对企业数据的梳理及标准化,我们评估过,这个得整个企业内部各个部门协调。我们曾经在某些系统上做过试点,确实也发现了很多系统元数据定义上的不规范,也形成了一部分标准,但是想让所有系统按照这个...(more)
    浏览10131
    回答2
    来自主题:数据采集
    jamiee 某股份制银行  擅长领域:实时数仓, 大数据, 银行大数据平台
    1 会员关注
    一、银行大数据平台建设背景及目标 我们进行大数据平台建设有几个方面的背景。一是我们在信息化建设和数据分析的基础比较好;二是虽然在信息化建设过程中建设了比较完成的BI应用,但随着业务不断发展,这些解决方案已不能完全满足业务对于数据分析的需求;三是大数据技术的快速...(more)
    浏览2894
    来自主题:大数据
  • 时间:2018-10-19
  • 地点: 线上活动
  • 状态: 已结束
  • 浏览35844
    报名30
    来自主题:分布式数据库
    yinxin 某金融机构  擅长领域:虚拟化, 云计算, 数据库系统
    764 会员关注
    收藏6
    评价27
    金币5
    来自主题:大数据
    windix 蚂蚁金服  擅长领域:大数据, spark, 大数据组件
    128 会员关注
    一、 前言 近年来互联网的新业形态快速涌现,互联网金融和金融大数据快速发展,对经济提质增效的促进作用不断凸显。阿里巴巴、腾讯、百度等数据研发应用企业开始引领数据产业的发展。同时政府和科研机构也高度关注大数据。2012年:广东省启动了《广东省实施大数据战略工作...(more)
    专栏: 最佳实践
    浏览5121
    评论1
    来自主题:数据治理
    王作敬 银河证券  擅长领域:容器云, 微服务, 容器
    128 会员关注
    作者:汪照辉 王作敬 在《从单体集成到平台融合》一文中我们提到了数据融合。数据融合的需求来自于应用融合,应用融合的支撑在于平台,应用融合的方式之一是微服务架构,微服务设计的关键在于数据,数据的质量保证是良好的数据治理。所以说到底数据融合关注的依然是数据治理。...(more)
    专栏: 最佳实践
    浏览4549
    评论2
    来自主题:GPFS
    Garyy 某保险  擅长领域:容器, docker, Kubernetes
    242 会员关注
    前言: 物联网 (IoT) 的蓬勃发展推动了结构化/非结构化数据的空前增长,不仅给企业带来了发掘新客户、创造新收入来源的巨大机会。也给企业传统存储架构带来了很大的挑战,具体表现: 1)弹性扩展能力差,扩容成本高 2)运维管理复杂,对运维人员技术能力要求高3)多种异构存储之间易形成...(more)
    专栏: 活动总结
    浏览3917
    来自主题:MySQL
    undefined undefined  擅长领域:MySQL, MongoDB, 数据库
    303 会员关注
    看公司性质,如果是传统金融行业,选用oracle,使用非常高配置的机器,毕竟钱不是问题,运维经验也丰富和成熟,还有见识过各种问题的供应商解决问题(背锅),实在不行还能找原厂。互联网行业或者创业公司,规模再大肯定也是mysql,然后各种开源中间件方案等,这个方案,许可免费(有人力成本),修改灵...(more)
    浏览6063
    回答11

    关于TWT 使用指南 社区专家合作 厂商入驻社区 企业招聘 投诉建议 版权与免责声明 联系我们
    © 2019 talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30