spark-submit传递参数以及任务如何解析参数

1.传参

spark-submit传递参数有两种方式：

–conf k1=v1 --conf k2=v2
cli args，在jar包后追加

详见官方文档：
在这里插入图片描述

2.解析

–conf方式解析：

sparkContext.getConf.get("k1")

cli args方式解析：

  parse(args.toList)... ...def parse(list: List[String]): Unit = list match {case "--input" :: value :: tail =>input = valueparse(tail)case "--output" :: value :: tail =>output = valueparse(tail)case "--tmpOutputDir" :: value :: tail =>tmpOutputDir = valueparse(tail)case "--sql" :: value :: tail =>sql = URLDecoder.decode(value)parse(tail)case _ :: tail =>parse(tail)case Nil =>}