ckn126

动态

如何对多维查询场景进行技术选型?

windix windix 商业智能工程师,蚂蚁金服
根据不同的业务场景,可以选择使用不同的技术。(1)维度相对固定的离线数据查询,可用Kylin。Kylin支持标准SQL,通过预计算将数据转换成Cube,提供高效的多维查询。然而,预计算需要事先定义好表结构和查询模型,查询灵活性较低。(2)查看全文

如何对多维查询场景进行技术选型?

rein07 rein07 系统架构师,某证券
多维查询场景需求越来越多,但合适的查询引擎却不太多,如HBase比较适合特定维度的查询, Hive和Spark比较偏重于离线分析场景,Impala在小数据量下进行多维查询效果还不错,但是在大数据量下效率大打折扣。可选的引擎并不多,经查看全文
数据存储 日志数据 elastic ckn126ckn126 赞同了回答 2018-10-22

使用开源版本的elastic存储日志数据时,存在哪些局限性?

windix windix 商业智能工程师,蚂蚁金服
ES 2.3.0遇到的问题:(1)性能问题·大量数据的集中导入会导致ES性能下降,例如,查询响应时间变长、建index等命令会超时。·数据量大的时候,节点重启会需要很长时间初始化shards。(2)功能问题·不能实时导入数据。·有刷新间隔,查看全文
大数据 spark rdd ckn126ckn126 赞同了回答 2018-10-22

在使用spark计算引擎时,如何创建RDD?

windix windix 商业智能工程师,蚂蚁金服
主要有以下几种方法:(1)通过parallelize方法从集合创建RDD:var rdd = sc.parallelize(1 to 10)(2)通过textFile方法从本地文件或HDFS创建RDD:val rdd = sc.textFile("/filepath/file.txt")(3)其他,如:通过jdbc读取关系查看全文
大数据 Hadoop 数据一致 ckn126ckn126 赞同了回答 2018-10-22

使用kafka传输消息时,如何能确保consumer接受到的消息顺序与消息发送方保持一致?

windix windix 商业智能工程师,蚂蚁金服
Kafka可保证在同一partition中的消息是有序的,producer把数据按照同一主键发到同一个partition即可。查看全文

    趋势项目产品选型优先顺序调查

    发表您的选型观点,参与即得金币