1.可视化需要开发一个专门的知识图谱展示界面，将知识图谱中的实体、关系属性等以美观已操作的方式展示出来，因为颜值即正义。可以借用当前比较流行的bootstrap等前端开发语言。2.为满足快速查询，可以将部分索引关键字放在索引es中，索引命中后在使用key去titian中查询。3.多种...
Hadoop组件包括HIVE\HDFS\Hbase\HUE\sqoop\spark\zooie\ES\等进行进行，可以通过Cloudera的 manager来实现对组件的运行和监控和异常告警cloudera manager有四大功能： （1）管理：对集群进行管理，如添加、删除节点等操作。 （2）监控：监控集群的健康情况，对设置的各种指标和系统运...
在金融企业中，大多建设了数据仓库储存核心系统中产生的大量结构化数据，使用大数据平台存储多为历史数据和非结构化数据；而互联网企业一般不使用数据仓库，将结构化和非结构化数据存储在大数据平台中。在金融企业，受制于行业监管和信息安全等因素，对平台安全性、可管理运维性要求...
主要从管理方面入手：（1）金融机构可根据ISO27001国际标准，建立信息安全管理体系、形成制度化的信息安全规范。同时需要遵循制度实施，确保与信息安全相关的资源、技术、管理等均处于受控状态。（2）金融机构可根据内部网络区域中信息的敏感程度和功能，按不同的网络区域划分成不同安全...
（1）离线数据的营销风控聚合数据仓库中的结构化数据，通过SparkSQL进行多维度聚合计算，结果报表展示在Tableau。活动运营人员通过报表分析异常点，总结出营销反欺诈规则。离线规则由数据库实现，在线规则部署在Spark Streaming。（2）算法同学利用Spark MLlib对营销数据进行建模分析，模...
1、精准营销需要在构建用户画像和商品的画像的基础上，实现智能的推荐，推荐又分为基于用户画像（购买行为类似的用户商品推荐）和商品画像（购买商品相似度推荐）相结合实现精准的营销；2、要建立用户画像，首先需要梳理画像的特征值（也就是多维度的数据信息），基础上给用户进行打标签（和实际...
用户画像主要整合了多方面数据以及相应的工具组件，包括：（1）用户人口信息、资产和交易等结构化数据，采用关系型数据库进行存储。（2）用户APP行为等非结构化数据，采用Logstash采集，Hadoop HDFS存储。（3）用户的关键统计信息导入至Elasticsearch，供前端系统进行快速查询。用户群的多维cube...
一般企业应用很少会介入核心组件的改造或优化工作，因为一方面是技术能力制约另外还有与开源社区后续版本的兼容性问题。排除掉自行研发或改造，剩下的关键问题就是组件选型。其实无论是CDH/HDP还是国内的几个发行商，都是基于开源社区的组件进行集成，所选取的范围有区别，这个要...
