我使用的是Spark 1.5.2和HDP 2.2.4.8，在启动spark-shell的时候出现了以下的异常：

[itebog@www.iteblog.com ~]$ bin/spark-shell --master yarn-client
...

at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

:10: error: not found: value sqlContext
      import sqlContext.implicits._
:10: error: not found: value sqlContext
       import sqlContext.sql

你打开Application Master的日志时，你也可以看到如下的异常：

Log Type: stderr
Log Upload Time: Tue Jan 14 14:50:25 -0800 2016
Log Length: 87
Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher

解决这个问题你可以通过修改spark-defaults.conf，具体如下：

spark.driver.extraJavaOptions -Dhdp.version=current
spark.yarn.am.extraJavaOptions -Dhdp.version=current

然后再启动spark-shell：

[itebog@www.iteblog.com ~]$ bin/spark-shell --master yarn-client
...

16/01/14 15:23:10 INFO repl.SparkILoop: Created sql context (with Hive support)..
SQL context available as sqlContext.

scala>