Spark Summit East 2016：视频，PPT Spark Summit East 2016会议于2016年2月16日至2月18日在美国纽约进行。总体来说，Spark Summit一年比一年火，单看纽约的峰会中，规模已从900人增加到500个公司的1300人，更吸引到更多大型公司的分享，包括Bloomberg、Capital One、Novartis、Comcast等公司。而在这次会议上，Databricks还发布了两款产品——Commu w397090770 9年前 (2016-02-27) 6186℃ 0评论9喜欢
Apache Zeppelin使用入门指南：安装Apache Zeppelin使用入门指南：编程Apache Zeppelin使用入门指南：添加外部依赖 在前面的两篇文章中我们介绍了如何编译和部署Apache Zeppelin、如何使用Apache Zeppelin。这篇文章中将介绍如何将外部依赖库加入到Apache Zeppelin中。 在现实情况下，我们编写程序一般都是需要依赖外部的相关类库 w397090770 9年前 (2016-02-04) 8182℃ 0评论7喜欢
Apache Zeppelin使用入门指南：安装Apache Zeppelin使用入门指南：编程Apache Zeppelin使用入门指南：添加外部依赖使用Apache Zeppelin 编译和启动完Zeppelin相关的进程之后，我们就可以来使用Zeppelin了。我们进入到https://www.iteblog.com:8080页面，我们可以在页面上直接操作Zeppelin，依次选择Notebook->Create new note，然后会弹出一个对话框 w397090770 9年前 (2016-02-03) 25317℃ 2评论31喜欢
Apache Zeppelin使用入门指南：安装Apache Zeppelin使用入门指南：编程Apache Zeppelin使用入门指南：添加外部依赖 Apache Zeppelin是一款基于web的notebook(类似于ipython的notebook)，支持交互式地数据分析。原生就支持Spark、Scala、SQL 、shell, markdown等。而且它是完全开源的，目前还处于Apache孵化阶段。本文所有的操作都是基于Apache Zeppelin w397090770 9年前 (2016-02-02) 20732℃ 9评论20喜欢
默认情况下，Apache Zeppelin启动Spark是以本地模式起的，master的值是local[*]，我们可以通过修改conf/zeppelin-env.sh文件里面的MASTER的值如下：[code lang="bash"]export MASTER= yarn-clientexport HADOOP_HOME=/home/q/hadoop/hadoop-2.2.0export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/[/code]然后启动Zeppelin，但是我们有时会发现日志出现了以下的异常信息：ERRO w397090770 9年前 (2016-01-22) 12108℃ 16评论12喜欢
我下载的Apache Zeppelin和Apache Spark版本分别为：0.6.0-incubating-SNAPSHOT和1.5.2，在Zeppelin中使用SQLContext读取Json文件创建DataFrame的过程中出现了以下的异常：[code lanh="scala"]val profilesJsonRdd =sqlc.jsonFile("hdfs://www.iteblog.com/tmp/json")val profileDF=profilesJsonRdd.toDF()profileDF.printSchema()profileDF.show()profileDF.registerTempTable("profiles") w397090770 9年前 (2016-01-21) 6883℃ 2评论11喜欢
本系列文章翻译自：《scala data analysis cookbook》第二章：Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的，我这里使用的是Spark 1.6.0，丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。 一、从csv文件创建DataFrame 如何做？ 如何工作的 附录 二、操作DataFrame w397090770 9年前 (2016-01-18) 7612℃ 0评论6喜欢
本系列文章翻译自：《scala data analysis cookbook》第二章：Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的，我这里使用的是Spark 1.6.0，丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。 一、从csv文件创建DataFrame 如何做？ 如何工作的 附录 二、操作DataFrame w397090770 9年前 (2016-01-17) 22987℃ 0评论23喜欢
本系列文章翻译自：《scala data analysis cookbook》第二章：Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的，我这里使用的是Spark 1.6.0，丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。 一、从csv文件创建DataFrame 如何做？ 如何工作的 附录 二、操作DataFrame w397090770 9年前 (2016-01-16) 6597℃ 0评论16喜欢
我使用的是Spark 1.5.2和HDP 2.2.4.8，在启动spark-shell的时候出现了以下的异常：[code lang="bash"][itebog@www.iteblog.com ~]$ bin/spark-shell --master yarn-client...at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala):10: error: not found: value sqlContext import sqlContext.implicits._:10: error: not found: value sqlContext import sqlContext.sql[/code]你打开Application w397090770 9年前 (2016-01-15) 4673℃ 0评论2喜欢
