金融行业敏捷管理是否可用?这个要看金融的体制,如果是互联网性质的金融公司,敏捷非常好,但是如果是传统银行,互联网接触的比较上,本身不缺钱,所以敏捷谈不上,按部就班不出问题即可。
我们看下目前的云平台,基本上都有 ElasticSearch 云服务。另外互联网巨头公司都有深入的使用 ElasticSearch ,所以如果引入搜索引擎,那么建议使用 ElasticSearch 。性能更高,社区也比较活跃。实在不愿意运维的话,就使用云
可以考虑对时间做分片路由,查询的时候带上时间参数即可。这样把大数据通过时间这个单位来拆分成小数据,提高查询的QPS
ES最长用的,就是分布式日志查询(ELK) 但是这只是ES最小的一个应用点,更适合的场景是做搜索引擎,比如电商中的搜索。比如微服务分库分表后跨表查询的检索。 ES相对来说上手比较快,提供了丰富的文档,当然目前云平台都有提供ES
简单理解dataNode就是存储数据的服务。对应的NameNode是管理数据的服务(记录数据在哪个分片,当前副本情况),以及NodeManager是管理当前节点的服务
hadoop的hdfs能做到了海量存储,但是实时检索是需要多久实时呢? 如果是KV型的实时检索,那么可选择HBASE 如果是ad-hoc需求,那么impala,prestore、driud都可以 如果是应用服务的实时,那么ES可以考虑下。
根据问题来看,这个集群配置不低。是hive任务运行的比较慢还是其他?如有可能建议把apache的换成CDH版本的,因为CDH版本提供了很多可视化界面,方便排查问题。
微服务之间的通信方式,这个主要来看微服务的框架,一般来说有: REST RPC thrift protobuf
目前比较好的缓存使用方案是多级缓存,即: JVM本地缓存->Redis->数据库
数据收集、数据集中存储这个是最基础做法,首先是把数据存起来。 数据分类、数据挖掘分析、建模应用,这个是数据的具体分类应用了 这中途根据数据量的大小和时效不一样,选择的技术也不一样。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30