windix

动态

证券大数据平台 大数据供应商 windixwindix 回答了问题 2019-06-19

在证券行业中,大数据项目的供应商有哪些?

windix windix 商业智能工程师,蚂蚁金服
大数据系统分为硬件系统和大数据组件。硬件系统一般为X86服务器,供应商的可选范围很广,参考配置如下。 用途 型号 处理器 内存 硬盘 RAID 操作系统 Hadoop Name Node X3650 M5 Intel Xeon E5查看全文
成本评估 证券大数据平台 windixwindix 回答了问题 2019-05-17

如何估算证券行业大数据项目的整体成本?

windix windix 商业智能工程师,蚂蚁金服
成本大体如下表:查看全文
需求分析 证券大数据平台 windixwindix 回答了问题 2019-05-16

证券行业为什么要上大数据平台?

windix windix 商业智能工程师,蚂蚁金服
1.项目背景在互联网和科技金融时代,证券行业企业制定并落地大数据项目恰逢其时。一方面发展大数据已是国家重点战略,在政府的资金与政策扶持下,大数据技术体系已经发展成熟;另一方面,在互联网行业的探索和推动下,大数据人才查看全文
数据存储 日志数据 elastic windixwindix 回答了问题 2018-10-19

使用开源版本的elastic存储日志数据时,存在哪些局限性?

windix windix 商业智能工程师,蚂蚁金服
ES 2.3.0遇到的问题:(1)性能问题·大量数据的集中导入会导致ES性能下降,例如,查询响应时间变长、建index等命令会超时。·数据量大的时候,节点重启会需要很长时间初始化shards。(2)功能问题·不能实时导入数据。·有刷新间隔,查看全文
大数据 大数据技术 智能营销 windixwindix 回答了问题 2018-10-19

营销风控会应用到哪些大数据技术及工具组件?主要遇到的问题有哪些?

windix windix 商业智能工程师,蚂蚁金服
(1)离线数据的营销风控聚合数据仓库中的结构化数据,通过SparkSQL进行多维度聚合计算,结果报表展示在Tableau。活动运营人员通过报表分析异常点,总结出营销反欺诈规则。离线规则由数据库实现,在线规则部署在Spark Streaming查看全文
大数据 Hadoop 数据一致 windixwindix 回答了问题 2018-10-19

使用kafka传输消息时,如何能确保consumer接受到的消息顺序与消息发送方保持一致?

windix windix 商业智能工程师,蚂蚁金服
Kafka可保证在同一partition中的消息是有序的,producer把数据按照同一主键发到同一个partition即可。查看全文
大数据 spark rdd windixwindix 回答了问题 2018-10-19

在使用spark计算引擎时,如何创建RDD?

windix windix 商业智能工程师,蚂蚁金服
主要有以下几种方法:(1)通过parallelize方法从集合创建RDD:var rdd = sc.parallelize(1 to 10)(2)通过textFile方法从本地文件或HDFS创建RDD:val rdd = sc.textFile("/filepath/file.txt")(3)其他,如:通过jdbc读取关系查看全文

影像类等非结构化数据一般如何在大数据平台存储?

windix windix 商业智能工程师,蚂蚁金服
如果是图像文件,根据业务需求可使用不同存储方案。(1)如果做在线内容服务,使用FastDFS、MogileFS等分布式文件系统。(2)如果做图片存储备份,可以使用MongoDB,或者将大量图片压缩后保存在HDFS。HDFS更适合大文件的存储。查看全文
大数据 大数据技术 精准营销 windixwindix 赞同了回答 2018-10-19

精准营销会应用到哪些大数据技术及工具组件?主要遇到的问题有哪些?

陈星星 陈星星 it技术咨询顾问,人工智能(计算机视觉)
1、精准营销需要在构建用户画像和商品的画像的基础上,实现智能的推荐,推荐又分为基于用户画像(购买行为类似的用户商品推荐)和商品画像(购买商品相似度推荐)相结合实现精准的营销;2、要建立用户画像,首先需要梳理画像的特征值查看全文
大数据 数据安全 金融企业 windixwindix 回答了问题 2018-10-19

金融机构如何确保大数据平台中的数据安全?

windix windix 商业智能工程师,蚂蚁金服
主要从管理方面入手:(1)金融机构可根据ISO27001国际标准,建立信息安全管理体系、形成制度化的信息安全规范。同时需要遵循制度实施,确保与信息安全相关的资源、技术、管理等均处于受控状态。(2)金融机构可根据内部网络区域中查看全文

擅长领域

大数据 大数据
spark spark
大数据组件 大数据组件

最近来访

  • doc