在Spark程序中使用一个预训练过的模型，将其并行应用于大型数据集的数据处理。比如，给定一个可以识别图片的分类模型，其通过一个标准数据集（如ImageNet）训练过。可以在一个Spark程序中调用一个框架（如TensorFlow或Keras）进行分布式预测。通过在大数据处理过程中调用预训练模型可...

（1）离线数据的营销风控聚合数据仓库中的结构化数据，通过SparkSQL进行多维度聚合计算，结果报表展示在Tableau。活动运营人员通过报表分析异常点，总结出营销反欺诈规则。离线规则由数据库实现，在线规则部署在Spark Streaming。（2）算法同学利用Spark MLlib对营销数据进行建模分析，模...

1、精准营销需要在构建用户画像和商品的画像的基础上，实现智能的推荐，推荐又分为基于用户画像（购买行为类似的用户商品推荐）和商品画像（购买商品相似度推荐）相结合实现精准的营销；2、要建立用户画像，首先需要梳理画像的特征值（也就是多维度的数据信息），基础上给用户进行打标签（和实际...

用户画像主要整合了多方面数据以及相应的工具组件，包括：（1）用户人口信息、资产和交易等结构化数据，采用关系型数据库进行存储。（2）用户APP行为等非结构化数据，采用Logstash采集，Hadoop HDFS存储。（3）用户的关键统计信息导入至Elasticsearch，供前端系统进行快速查询。用户群的多维cube...

关于要用到哪些数据，这些完全是业务需求所决定的。至于技术上，我觉得如果要做实体与账户实体的关系，这最好用到知识图谱，如果不做知识图谱，纯做实体画像，就要把账号信息挂靠在实体属性中，这样的做法不太灵活，具体实现还是要看您的业务需求而定。如果用到知识图谱，我觉得最好使用图...

推荐经常使用的spark、hive两个分布式计算框架，架构原理有所不同，各有利弊，但计算效率确实非同凡响，可以一试。

可从执行计划、资源情况（cpu。内存、磁盘等）、配置参数、避免跨节点访问、task参数等方面，详细可查找相关书籍

回复 2# xuyanhui     现在的大数据，到底有多少企业是真正的大数据，这个难道不是在炒作的么？非常感谢您的回复，最后一个说能最快响应业务需求，这个对我们来说也是非常重要的，那如何能做到呢？...