R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个广泛应用于统计计算和统计制图的优秀编程语言，但是其交互式使用通常局限于一台机器。为了能够使用R语言分析大规模分布式的数据，UC Berkeley给我们带来了SparkR，SparkR就是用R语言编写Spark程序，它允许数据科学家分析 w397090770 10年前 (2015-04-14) 12960℃ 0评论17喜欢
Apache Kafka近年来迅速地成为开源社区流行的流输入平台。同时我们也看到了Spark Streaming的使用趋势和它类似。因此，在Spark 1.3中，社区对Kafka和Spark Streaming的整合做了很多重要的提升。主要修改如下： 1、为Kafka新增了新的Direct API。这个API可以使得每个Kafka记录仅且被处理一次(processed exactly once)，即使读取过程中出现了失 w397090770 10年前 (2015-04-10) 16795℃ 0评论24喜欢
Spark Streaming是近实时(near real time)的小批处理系统。对给定的时间间隔(interval)，Spark Streaming生成新的batch并对它进行一些处理。每个batch中的数据都代表一个RDD，但是如果一些batch中没有数据会发生什么事情呢？Spark Streaming将会产生EmptyRDD的RDD，它的定义如下：[code lang="scala"]package org.apache.spark.rddimport scala.reflect.ClassTagimport w397090770 10年前 (2015-04-08) 10146℃ 1评论11喜欢
这里说明一点：本文提到的解决Spark insertIntoJDBC找不到Mysql驱动的方法是针对单机模式(也就是local模式)。在集群环境下，下面的方法是不行的。这是因为在分布式环境下，加载mysql驱动包存在一个Bug,1.3及以前的版本 --jars 分发的jar在executor端是通过Spark自身特化的classloader加载的。而JDBC driver manager使用的则是系统默认的classloader w397090770 10年前 (2015-04-03) 19159℃ 3评论15喜欢
《Spark RDD API扩展开发(1)》、《Spark RDD API扩展开发(2):自定义RDD》 在本博客的《Spark RDD API扩展开发(1)》文章中我介绍了如何在现有的RDD中添加自定义的函数。本文将介绍如何自定义一个RDD类，假如我们想对没见商品进行打折，我们想用Action操作来实现这个操作，下面我将定义IteblogDiscountRDD类来计算商品的打折，步骤如 w397090770 10年前 (2015-03-31) 12020℃ 0评论8喜欢
《Spark RDD API扩展开发(1)》、《Spark RDD API扩展开发(2):自定义RDD》 我们都知道，Apache Spark内置了很多操作数据的API。但是很多时候，当我们在现实中开发应用程序的时候，我们需要解决现实中遇到的问题，而这些问题可能在Spark中没有相应的API提供，这时候，我们就需要通过扩展Spark API来实现我们自己的方法。我们可 w397090770 10年前 (2015-03-30) 7220℃ 2评论15喜欢
《Spark meetup(Beijing)资料分享》 《Spark meetup(杭州)PPT资料分享》 《北京第二次Spark meetup会议资料分享》 《北京第三次Spark meetup会议资料分享》 《北京第四次Spark meetup会议资料分享》 《北京第五次Spark meetup会议资料分享》》 《北京第六次Spark meetup会议资料分享》 《杭州第三次Spark meetup会议 w397090770 10年前 (2015-03-30) 4847℃ 0评论4喜欢
Spark和Kafka都是比较常用的两个大数据框架，Spark里面提供了对Kafka读写的支持。默认情况下我们Kafka只能写Byte数组到Topic里面，如果我们想往Topic里面读写String类型的消息，可以分别使用Kafka里面内置的StringEncoder编码类和StringDecoder解码类。那如果我们想往Kafka里面写对象怎么办？ 别担心，Kafka中的kafka.serializer里面有Decoder和En w397090770 10年前 (2015-03-26) 21421℃ 11评论16喜欢
本视频是炼数成金的Spark大数据平台视频，本课程在总结上两期课程的经验，对课程重新设计并将更新过半的内容，将最新版的spark1.1.0展现给有兴趣的学员。 更新：由于版权问题，本视频不提供下载地址，敬请理解。本站所有下载资源收集于网络，只做学习和交流使用，版权归原作者所有，若为付费视频，请在下载后24小时 w397090770 10年前 (2015-03-24) 56913℃ 18评论99喜欢
《Spark meetup(Beijing)资料分享》 《Spark meetup(杭州)PPT资料分享》 《北京第二次Spark meetup会议资料分享》 《北京第三次Spark meetup会议资料分享》 《北京第四次Spark meetup会议资料分享》 《北京第五次Spark meetup会议资料分享》》 《北京第六次Spark meetup会议资料分享》 《杭州第三次Spark meetup会议 w397090770 10年前 (2015-03-23) 6655℃ 0评论3喜欢
