大数据处理 - 主题 - twt企业IT交流平台

热点

保险区块链·2018-07-18

数据量如何估算？

steelshark · 中智智人（贵州）信息技术有限公司北京分公司　擅长领域：服务器, 分布式系统, 区块链

4 会员关注

数据存储量确实会大幅增加，可以靠实际测算得到存储量的消耗，不过，硬件存储成本在整个开支中占比不大。积分系统如果很小，不必自备节点，可以选择依附和使用几个大节点。

赞同4

回答1

关注2

电信运营商Kubernetes·2018-07-11

elasticsearch在k8s中部署？

ynwssjx · CMB 　擅长领域：云计算, 容器, 容器云

8 会员关注

不论是IaaS还是PaaS，手工部署ELK都是不推荐的，通过ansible可以自动实现，至于如何实现，可以参考redhat文档：https://docs.openshift.org/3.9/install_config/aggregate_logging.html至于说分布式存储、本地存储还是集中存储，这个没有既定答案，都是可以参考行业实现，比如Redhat就是...

赞同7

回答4

关注6

系统集成数据分析·2018-07-04

公司内业务系统的监控经常出现反应慢、系统模块跳转不畅等现象，引入数据分析技术依然无法解决，怎么处理？

dgu · dgu　擅长领域：系统运维, 自动化运维, 服务器

3 会员关注

系统模块跳转不畅需检查应用程序

大数据·2018-05-29

cys866 · 上海优铭云计算有限公司　擅长领域：大数据, 分布式系统, 服务器

7 会员关注

下载 49

评价5

金币3

大数据·2018-05-29

基于spark集群的券商个性化推荐系统架构设计最佳实践

windix

· 某证券公司　擅长领域：大数据, 数据库, 大数据平台

380 会员关注

下载 91

评价2

金币3

大数据·2018-05-08

基于Spark的数据湖项目初步实践

cys866 · 上海优铭云计算有限公司　擅长领域：大数据, 分布式系统, 服务器

7 会员关注

数据湖项目的可行性a)数据湖技术大数据的出现，以及大数据处理平台Hadoop架构的出现，催生了数据湖的产生。最初数据湖的概念是2011年首先出现的，可以说，就像数据仓库是处理结构化数据的过程一样，数据湖是Hadoop用于处理大数据，包含结构化数据，非结构化数据的过程。虽然使用的技术...(more)

赞同7

专栏：最佳实践

人工智能·2018-05-03

基于spark集群的券商个性化推荐系统架构设计最佳实践

windix

· 某证券公司　擅长领域：大数据, 数据库, 大数据平台

380 会员关注

一、券商实施个性化推荐项目的必要性1.1个性化推荐技术发展背景目前，随着用户接收到的信息量爆炸般增长，传统的推荐以及服务方式的边际收益正在不断减少，用户个性化的需求变得越来越多。大数据实时个性化服务，主要基于大数据用户画像、产品画像建设成果，结合实时流计算框架，以...(more)

赞同23

专栏：最佳实践

数据库·2018-03-21

[招聘] 【北京市、杭州、深圳、郑州】宇信科技公司招聘运维、数据库、JAVA开发等工程师

simonmp3 · 123　擅长领域：数据库, 系统运维, java

8 会员关注

工作性质：银行外包（宇信科技），职位属于内推，请有兴趣的各位联系我吧，QQ：18963193，薪资可谈。北部中信运维服务部工作城市工作具体地点编号岗位名称岗位级别需求人数任职资格北京北京市东城区朝阳门富华大厦C座1运维经理中高级31、全日制本科及以上学历，计算机相关专业；2、从事银行...(more)

赞同1

IT其它数据分析·2018-03-13

如何在数据的分析处理挖掘中保证数据质量，出现数据问题后如何解决？