Spark 1.1.0已经在前几天发布了(《Spark 1.1.0发布:各个模块得到全面升级》、《Spark 1.1.0正式发布》),本博客对Hive部分进行了部分说明:《Spark SQL 1.1.0和Hive的兼容说明》、《Shark迁移到Spark 1.1.0 编程指南》,在这个版本对Hive的支持更加完善了,如果想在Spark SQL中加入Hive,并加入JDBC server和CLI,我们可以在编译的时候通过加上参数将hive方面的特性打包到Spark源码中。可以用下面的命令进行编译。
# Apache Hadoop 2.4.X with Hive support mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -DskipTests clean package
如果你用的是sbt,你也可以直接加上-Phive参数。Spark 1.1.0默认的是依赖Hive 0.12.0。关于详细的Spark Maven编译命令可以参照本博客《用Maven编译Spark 1.0.0源码以错误解决》。
当然,在下载下来的Spark源码中的同一级目录下有个make-distribution.sh脚本,这个脚本可以打包Spark的发行包,make-distribution.sh文件其实就是调用了Maven进行编译的,可以通过下面的命令运行:
./make-distribution.sh --tgz -Phadoop-2.2 -Pyarn -DskipTests -Dhadoop.version=2.2.0 -Phive
编译的过程中可能需要很长的时间,需要慢慢的等待,如果你看到下面的输出信息,那恭喜你,编译成功了!
[WARNING] See http://docs.codehaus.org/display/MAVENUSER/Shade+Plugin [INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] Spark Project Parent POM .......................... SUCCESS [3:12.329s] [INFO] Spark Project Core ................................ SUCCESS [4:49.088s] [INFO] Spark Project Bagel ............................... SUCCESS [19.565s] [INFO] Spark Project GraphX .............................. SUCCESS [1:20.401s] [INFO] Spark Project Streaming ........................... SUCCESS [1:09.413s] [INFO] Spark Project ML Library .......................... SUCCESS [1:48.712s] [INFO] Spark Project Tools ............................... SUCCESS [14.620s] [INFO] Spark Project Catalyst ............................ SUCCESS [1:14.372s] [INFO] Spark Project SQL ................................. SUCCESS [1:23.813s] [INFO] Spark Project Hive ................................ SUCCESS [2:06.349s] [INFO] Spark Project REPL ................................ SUCCESS [36.802s] [INFO] Spark Project YARN Parent POM ..................... SUCCESS [5.664s] [INFO] Spark Project YARN Stable API ..................... SUCCESS [34.322s] [INFO] Spark Project Assembly ............................ SUCCESS [42.193s] [INFO] Spark Project External Twitter .................... SUCCESS [22.767s] [INFO] Spark Project External Kafka ...................... SUCCESS [30.759s] [INFO] Spark Project External Flume Sink ................. SUCCESS [40.095s] [INFO] Spark Project External Flume ...................... SUCCESS [25.221s] [INFO] Spark Project External ZeroMQ ..................... SUCCESS [25.414s] [INFO] Spark Project External MQTT ....................... SUCCESS [32.147s] [INFO] Spark Project Examples ............................ SUCCESS [1:24.143s] [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INFO] Total time: 23:58.722s [INFO] Finished at: Wed Sep 17 15:17:04 CST 2014 [INFO] Final Memory: 107M/1316M [INFO] ------------------------------------------------------------------------本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【用Maven编译Spark 1.1.0】(https://www.iteblog.com/archives/1131.html)
谢谢,我想问一下,Spark1.3.0 mvn重新编译时,能加-Phadoop=2.6 -Phadoop.version=2.6.0吗?
必须可以的,这个得看你具体情况再选择不同的Hadoop版本。
不需要翻墙就可以???
不需要,直接编译即可。
Test 😛 我擦
哈哈哈哈哈哈 Just a test!!!!!!!
mail test速度