大数据组件解析及如何选择合适的大数据组件搭建大数据平台在线答疑 - twt企业IT交流平台 - talkwithtrend，企业IT技术社区，帮助您融入同行！

大数据组件解析及如何选择合适的大数据组件搭建大数据平台在线答疑

: windix商业分析师某证券公司
关注379
个人主页
Ta的精彩回答
用户画像会应用到哪些大数据技术及工具组件？应用过程中主要遇到的问题有哪些？
用户画像主要整合了多方面数据以及相应的工具组件，包括：（1）用户人口信息、资产和交易等结...5赞同
精准营销会应用到哪些大数据技术及工具组件？主要遇到的问题有哪些？
精准营销在用户画像、产品画像的基础上使用Spark进行特征工程、Spark MLllib等机器学...4赞同
营销风控会应用到哪些大数据技术及工具组件？主要遇到的问题有哪些？
（1）离线数据的营销风控聚合数据仓库中的结构化数据，通过SparkSQL进行多维度聚合计算，结果...4赞同
金融机构如何确保大数据平台中的数据安全？
主要从管理方面入手：（1）金融机构可根据ISO27001国际标准，建立信息安全管理体系、形成制度...4赞同
如何对Hadoop组件进行运行监控？
管理员可以使用Ambari监控Hadoop、Spark、Hbase、Hive等Hadoop生态圈的组件。...2赞同
数据采集的工具有哪些，有哪些优缺点？分别适用什么应用场景？
（1）日志采集：Logstash，可对数据进行复杂预处理。Flume，保证数据传输的一致性，部署复杂。（2）Had...2赞同
如何及时发现多类数据在统一采集传输过程中的积压问题？
（1）如果数据采集过程中使用Kafka进行传输，可使用Kafka Web Conslole、Kafka Manager和Kaf...4赞同
如何对多维查询场景进行技术选型？
根据不同的业务场景，可以选择使用不同的技术。（1）维度相对固定的离线数据查询，可用Kylin。...6赞同
使用kafka传输消息时，如何能确保consumer接受到的消息顺序与消息发送方保持一致？
Kafka可保证在同一partition中的消息是有序的，producer把数据按照同一主键发到同一个pa...3赞同
在使用spark计算引擎时，如何创建RDD？
主要有以下几种方法：（1）通过parallelize方法从集合创建RDD：var rdd = sc.parallelize(1 to...4赞同
使用开源版本的elastic存储日志数据时，存在哪些局限性?
ES 2.3.0遇到的问题：（1）性能问题·大量数据的集中导入会导致ES性能下降，例如，查询响应时间...4赞同
影像类等非结构化数据一般如何在大数据平台存储?
如果是图像文件，根据业务需求可使用不同存储方案。（1）如果做在线内容服务，使用FastDFS、Mo...3赞同

: lxcorange软件架构设计师某券商
关注293
个人主页
Ta的精彩回答
金融机构如何确保大数据平台中的数据安全？
在管理方面：1、建立平台用户权限管理制度，按照一事一建和用户权限最小化原则2、建立平台...2赞同
金融企业和互联网企业在大数据组件选型时面临的业务场景和功能需求有何不同？
在金融企业中，大多建设了数据仓库储存核心系统中产生的大量结构化数据，使用大数据平台存...1赞同
使用Spark Sql进行ETL数据抽取时如何保证Spark集群的高可用性？
spark分布式搭建方式大致分为三种：standalone、yarn、mesos。standalone是官方提供的一...3赞同
大数据平台怎样调优（可根据组件分类）？
调优需根据业务场景、所用组件等因素综合分析。3赞同
使用kafka传输消息时，如何能确保consumer接受到的消息顺序与消息发送方保持一致？
如果需要确保consumer接受到的消息顺序与消息发送方保持一致，比如增删改等有顺序要求的...2赞同
在使用spark计算引擎时，如何创建RDD？
进行Spark核心编程的第一步就是创建一个初始的RDD。该RDD，通常就代表和包含了Spark应用...2赞同
使用开源版本的elastic存储日志数据时，存在哪些局限性?
开源ES存在功能和性能两方面缺陷，尤其在企业级运维管理方面，存在缺乏用户权限管理机制和...1赞同
平台化系统的数据采集与垂直（纵向）化的数据采集及存储方式有什么建议？
可能需要相应工业设备的厂商提供数据采集方案。3赞同

: rein07系统架构师某证券
关注581
个人主页
Ta的精彩回答
数据采集的工具有哪些，有哪些优缺点？分别适用什么应用场景？
数据采集是做大数据分析的第一环，也是非常重要的一环，为上层应用不断地提供数据养料。做...6赞同
如何及时发现多类数据在统一采集传输过程中的积压问题？
这一问题的出现有两类原因：1）网络瓶颈当数据传输过程中某一线路出现瓶颈时，数据必然...1赞同
使用HBase进行业务设计时需要注意哪些方面？
HBase是基于Hdfs的分布式列式数据库，所有的查询和写入都以Rowkey作为基础。所以业务设...1赞同
如何对多维查询场景进行技术选型？
多维查询场景需求越来越多，但合适的查询引擎却不太多，如HBase比较适合特定维度的查询， Hi...2赞同
Zookeeper业务应用有哪些？
ZooKeeper是一个高可用的分布式系统协调框架。基于对Paxos算法的实现，使该框架保证了分...4赞同

在本场活动提问

活动明星榜

联盟成员

商业分析师某证券公司

本场活动获赞 45

解决方案经理人工智能（计算机视觉）

本场活动获赞 35

软件架构设计师某券商

本场活动获赞 17

系统架构师某证券

本场活动获赞 14

系统运维工程师光大证券股份有限公司

本场活动获赞 6

系统工程师沈阳医学院附属中心医院

本场活动获赞 4

系统工程师sjbank

本场活动获赞 2

系统工程师LG

本场活动获赞 2

其它吉林通钢自动化信息技术有限责任公司

本场活动获赞 2

jxq1618

其它gbase

本场活动获赞 2

关于TWT 使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
© 2024talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30

X社区推广