活动时间 1月24日下午14:00活动地点 地址：海淀区中关村软件园二期，西北旺东路10号院东区，亚信大厦 一层会议室 地图：http://j.map.baidu.com/L_1hq 为了保证大家乘车方便，特提供活动大巴时间：13:20-13:40位置：http://j.map.baidu.com/SJOLy分享内容: 邵赛赛 Intel Spark Streaming driver high availability w397090770 10年前 (2015-01-22) 15585℃ 0评论2喜欢
经过这段时间的整理以及格式调整，以及纠正其中的一些错误修改，整理出PDF下载。下载地址：[dl href="http://download.csdn.net/detail/w397090770/8337439"]CSDN免积分下载[/dl] 完整版可以到这里下载Learning Spark完整版下载附录：Learning Spark目录Chapter 1 Introduction to Data Analysis with Spark What Is Apache Spark? A Unified Stack Who Us w397090770 10年前 (2015-01-07) 32531℃ 6评论83喜欢
Spark支持读取很多格式的文件，其中包括了所有继承了Hadoop的InputFormat类的输入文件，以及平时我们常用的Text、Json、CSV (Comma Separated Values) 以及TSV (Tab Separated Values)文件。本文主要介绍如何通过Spark来读取Json文件。很多人会说，直接用Spark SQL模块的jsonFile方法不就可以读取解析Json文件吗？是的，没错，我们是可以通过那个读取Json w397090770 10年前 (2015-01-06) 26880℃ 10评论15喜欢
下面的操作会影响到Spark输出RDD分区（partitioner）的： cogroup, groupWith, join, leftOuterJoin, rightOuterJoin, groupByKey, reduceByKey, combineByKey, partitionBy, sort, mapValues (如果父RDD存在partitioner), flatMapValues(如果父RDD存在partitioner), 和 filter (如果父RDD存在partitioner)。其他的transform操作不会影响到输出RDD的partitioner，一般来说是None，也就是没 w397090770 10年前 (2014-12-29) 16559℃ 0评论5喜欢
在很多应用场景都需要对结果数据进行排序，Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的（可以参见SPARK-1063）。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说明。 w397090770 10年前 (2014-12-26) 83657℃ 7评论88喜欢
Akka学习笔记系列文章： 《Akka学习笔记：ACTORS介绍》 《Akka学习笔记：Actor消息传递(1)》 《Akka学习笔记：Actor消息传递(2)》 《Akka学习笔记：日志》 《Akka学习笔记：测试Actors》 《Akka学习笔记：Actor消息处理-请求和响应(1) 》 《Akka学习笔记：Actor消息处理-请求和响应(2) 》 《Akka学 w397090770 10年前 (2014-12-22) 5639℃ 0评论7喜欢
Spark 1.2.0于美国时间2014年12月18日发布，Spark 1.2.0兼容Spark 1.0.0和1.1.0，也就是说不需要修改代码即可用，很多默认的配置在Spark 1.2发生了变化 1、spark.shuffle.blockTransferService由nio改成netty 2、spark.shuffle.manager由hash改成sort 3、在PySpark中，默认的batch size改成0了， 4、Spark SQL方面做的修改： spark.sql.parquet.c w397090770 10年前 (2014-12-19) 4583℃ 1评论2喜欢
2014 Spark亚太峰会12月6日在北京珠三角万豪酒店圆满收官，来自易观国际、Intel 、亚信科技、TalkingData、Spark亚太研究院、百度、京东、携程、IBM、星环科技、南京大学、洞庭国际智能硬件检测基地、 AdMaster、Docker中文社区、安徽象形科技的十八位演讲嘉宾为来自国内近305家企业，800多位一线开发者，带来了最干货的分享及一手的 w397090770 10年前 (2014-12-18) 29525℃ 251评论34喜欢
《Spark meetup(Beijing)资料分享》 《Spark meetup(杭州)PPT资料分享》 《北京第二次Spark meetup会议资料分享》 《北京第三次Spark meetup会议资料分享》 《北京第四次Spark meetup会议资料分享》 《北京第五次Spark meetup会议资料分享》》 《北京第六次Spark meetup会议资料分享》 第四次北京Spark meeting会议 w397090770 10年前 (2014-12-16) 10287℃ 73评论8喜欢
SchemaRDD在Spark SQL中已经被我们使用到，这篇文章简单地介绍一下如果将标准的RDD(org.apache.spark.rdd.RDD)转换成SchemaRDD，并进行SQL相关的操作。[code lang="scala"]scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@6edd421fscala> case class Person(name: String, age:Int)defined class Perso w397090770 10年前 (2014-12-16) 21208℃ 0评论20喜欢
