怎么进行Spark example的运行过程分析

这篇文章将为大家详细讲解有关怎么进行Spark example的运行过程分析，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。

pom.xml

1. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

2.     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

3.     <modelVersion>4.0.0</modelVersion>

4.     <groupId>active </groupId>

5.     <artifactId>spark-test</artifactId>

6.     <version>0.0.1-SNAPSHOT</version>

8.     <dependencies>

9.         <dependency>

10.             <groupId>org.apache.spark</groupId>

11.             <artifactId>spark-core_2.10</artifactId>

12.             <version>2.1.0</version>

13.         </dependency>

14.     </dependencies>

15. </project>

SparkTest.java

1. import java.util.Arrays;

3. import org.apache.spark.SparkConf;

4. import org.apache.spark.api.java.JavaPairRDD;

5. import org.apache.spark.api.java.JavaRDD;

6. import org.apache.spark.api.java.JavaSparkContext;

8. import scala.Tuple2;

10. public class SparkTest {

12.     public static void main(String[] args) {

13.         SparkConf conf = new SparkConf().setAppName("Test").setMaster("local");

14.         JavaSparkContext sc = new JavaSparkContext(conf);

15.         JavaRDD<String> file = sc.parallelize(Arrays.asList("Hello test", "Hello test2", "dds"));

16.         JavaRDD<String> words = file.flatMap(s -> Arrays.asList(s.split(" |/t|/n|/r")).iterator());

17.         JavaPairRDD<String, Integer> counts = words.mapToPair(s -> new Tuple2<String, Integer>(s, 1));        

18.         counts = counts.reduceByKey((x, y) -> x + y);

19.         

20.         System.out.println(counts.collect());

21.         sc.close();

22.     }

24. }

可以单独运行，也可以提交到spark集群： spark-submit.cmd –class SparkTest D:/workspace/spark-test/target/spark-test-0.0.1-SNAPSHOT.jar

关于怎么进行Spark example的运行过程分析就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。