互联网服务大数据sparkrdd

在使用spark计算引擎时,如何创建RDD?

1、RDD是Spark的核心数据模型,但是个抽象类,全称为Resillient Distributed Dataset,即弹性分布式数据集。
2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。

如何在编写spark程序中创建RDD?

参与10

2同行回答

windixwindix联盟成员商业分析师某证券公司
主要有以下几种方法:(1)通过parallelize方法从集合创建RDD:var rdd = sc.parallelize(1 to 10)(2)通过textFile方法从本地文件或HDFS创建RDD:val rdd = sc.textFile("/filepath/file.txt")(3)其他,如:通过jdbc读取关系型数据库创建jdbcRDD,使用hadoopFile、sequenceFile等方法创建RDD...显示全部

主要有以下几种方法:
(1)通过parallelize方法从集合创建RDD:var rdd = sc.parallelize(1 to 10)
(2)通过textFile方法从本地文件或HDFS创建RDD:val rdd = sc.textFile("/filepath/file.txt")
(3)其他,如:通过jdbc读取关系型数据库创建jdbcRDD,使用hadoopFile、sequenceFile等方法创建RDD。

收起
互联网服务 · 2018-10-19
lxcorangelxcorange软件架构设计师某券商
进行Spark核心编程的第一步就是创建一个初始的RDD。该RDD,通常就代表和包含了Spark应用程序的输入源数据。然后通过Spark Core提供的transformation算子,对该RDD进行转换,来获取其他的RDD。Spark Core提供了三种创建RDD的方式:1.使用程序中的集合创建RDDList<Integer> ...显示全部

进行Spark核心编程的第一步就是创建一个初始的RDD。该RDD,通常就代表和包含了Spark应用程序的输入源数据。然后通过Spark Core提供的transformation算子,对该RDD进行转换,来获取其他的RDD。

Spark Core提供了三种创建RDD的方式:
1.使用程序中的集合创建RDD

List<Integer> numbers = Arrays.asList(1,2,3,4,5,6,7,8,9,10);
JavaRDD<Integer> numbersRDD = sc.parallelize(numbers);
2.使用本地文件创建RDD(主要用于临时性处理有大量数据的文件)

SparkSession spark = SparkSession.builder().master("local").appName("WordCountLocal").getOrCreate();
JavaRDD<String> lines = spark.read().textFile("D:\\Users\\Administrator\\Desktop\\spark.txt").javaRDD();
3.使用HDFS文件创建RDD(生产环境的常用方式)

SparkSession spark = SparkSession.builder().appName("WordCountCluster").getOrCreate();
JavaRDD<String> lines = spark.read().textFile("hdfs://h0:9000/spark.txt").javaRDD();

收起
互联网服务 · 2018-10-19
浏览2070

提问者

lxcorange
软件架构设计师某券商
擅长领域: 大数据数据库数据仓库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-10-18
  • 关注会员:2 人
  • 问题浏览:3409
  • 最近回答:2018-10-19
  • X社区推广