关于投资者实体画像和关联账户分析的问题?

关于关联证券账户分析和实体画像的项目,需要用到哪些大数据技术?需要获取哪些外部数据?建议采用哪些数据挖掘或机器学习模型?是不是一定要做知识图谱,有哪些建议的产品和平台解决方案?目前我公司线上只有Teradata数据仓库平台和spark集群。

1回答

rein07rein07  系统架构师 , 某证券
彬彬twt社区编辑田华等赞同了此回答
关于要用到哪些数据,这些完全是业务需求所决定的。至于技术上,我觉得如果要做实体与账户实体的关系,这最好用到知识图谱,如果不做知识图谱,纯做实体画像,就要把账号信息挂靠在实体属性中,这样的做法不太灵活,具体实现还是要看您的业务需求而定。如果用到知识图谱,我觉得最好使用图...显示全部

关于要用到哪些数据,这些完全是业务需求所决定的。至于技术上,我觉得如果要做实体与账户实体的关系,这最好用到知识图谱,如果不做知识图谱,纯做实体画像,就要把账号信息挂靠在实体属性中,这样的做法不太灵活,具体实现还是要看您的业务需求而定。如果用到知识图谱,我觉得最好使用图数据库,比如neo4j,但是在大数据量下性能会衰减得比较严重,也可以使用hbase存储实体关系。Elasticsearch对于存储实体画像,用于多维度检索效果很好。Spark可以当做实体与关系构建的计算引擎,也可以使用mapreduce计算。整个过程比较复杂,在这里只能说下流程和基本技术点。

收起
 2018-01-30
浏览565

提问者

和气技术总监, 中登

问题状态

  • 发布时间:2018-01-30
  • 关注会员:2 人
  • 问题浏览:2804
  • 最近回答:2018-01-30
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30