在使用spark计算引擎时,如何创建RDD?

1、RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient Distributed Dataset,即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。 如何在编写spark程序中...显示全部

1、RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient Distributed Dataset,即弹性分布式数据集。
2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。

如何在编写spark程序中创建RDD?

收起

查看其它 1 个回答windix的回答

windixwindix  商业智能工程师 , 蚂蚁金服
ckn126王希瑞yinxin等赞同了此回答

主要有以下几种方法:
(1)通过parallelize方法从集合创建RDD:var rdd = sc.parallelize(1 to 10)
(2)通过textFile方法从本地文件或HDFS创建RDD:val rdd = sc.textFile("/filepath/file.txt")
(3)其他,如:通过jdbc读取关系型数据库创建jdbcRDD,使用hadoopFile、sequenceFile等方法创建RDD。

 2018-10-19
浏览701
aixchina 邀答

回答者

windix商业智能工程师, 蚂蚁金服

回答状态

  • 发布时间:2018-10-19
  • 关注会员:2 人
  • 回答浏览:701
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30