《Spark RDD API扩展开发(1)》、《Spark RDD API扩展开发(2):自定义RDD》 我们都知道，Apache Spark内置了很多操作数据的API。但是很多时候，当我们在现实中开发应用程序的时候，我们需要解决现实中遇到的问题，而这些问题可能在Spark中没有相应的API提供，这时候，我们就需要通过扩展Spark API来实现我们自己的方法。我们可 w397090770 10年前 (2015-03-30) 7226℃ 2评论15喜欢
《Spark meetup(Beijing)资料分享》 《Spark meetup(杭州)PPT资料分享》 《北京第二次Spark meetup会议资料分享》 《北京第三次Spark meetup会议资料分享》 《北京第四次Spark meetup会议资料分享》 《北京第五次Spark meetup会议资料分享》》 《北京第六次Spark meetup会议资料分享》 《杭州第三次Spark meetup会议 w397090770 10年前 (2015-03-30) 4847℃ 0评论4喜欢
Spark和Kafka都是比较常用的两个大数据框架，Spark里面提供了对Kafka读写的支持。默认情况下我们Kafka只能写Byte数组到Topic里面，如果我们想往Topic里面读写String类型的消息，可以分别使用Kafka里面内置的StringEncoder编码类和StringDecoder解码类。那如果我们想往Kafka里面写对象怎么办？ 别担心，Kafka中的kafka.serializer里面有Decoder和En w397090770 10年前 (2015-03-26) 21426℃ 11评论16喜欢
本视频是炼数成金的Spark大数据平台视频，本课程在总结上两期课程的经验，对课程重新设计并将更新过半的内容，将最新版的spark1.1.0展现给有兴趣的学员。 更新：由于版权问题，本视频不提供下载地址，敬请理解。本站所有下载资源收集于网络，只做学习和交流使用，版权归原作者所有，若为付费视频，请在下载后24小时 w397090770 10年前 (2015-03-24) 56925℃ 18评论99喜欢
《Spark meetup(Beijing)资料分享》 《Spark meetup(杭州)PPT资料分享》 《北京第二次Spark meetup会议资料分享》 《北京第三次Spark meetup会议资料分享》 《北京第四次Spark meetup会议资料分享》 《北京第五次Spark meetup会议资料分享》》 《北京第六次Spark meetup会议资料分享》 《杭州第三次Spark meetup会议 w397090770 10年前 (2015-03-23) 6655℃ 0评论3喜欢
本课程内容全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，Spark on Yarn,Spark Streaming流式计算原理与实践，Spark SQL,基于Spark的机器学习，图计算，Techyon,Spark的多语言编程以及SparkR的原理和运行。面向研究Spark的学员，它是一门非常有学习指引意义的课程。 本文的视频是录制版本的，所以是画面有些不清楚。 w397090770 10年前 (2015-03-23) 43807℃ 19评论69喜欢
本课程是Scala语言的入门课程，面向没有或仅有少量编程语言基础的同学，当然，具有一定的Java或C、C++语言基础将有助于本课程的学习。在本课程内，将更注重scala的各种语言规则与简单直接的应用，而不在于其是如何具体实现，通过学习本课程能具备初步的Scala语言实际编程能力。 此视频保证可以全部浏览，百度网盘 w397090770 10年前 (2015-03-21) 21938℃ 6评论46喜欢
使用用户设置好的聚合函数对每个Key中的Value进行组合(combine)。可以将输入类型为RDD[(K, V)]转成成RDD[(K, C)]。函数原型[code lang="scala"]def combineByKey[C](createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C) : RDD[(K, C)]def combineByKey[C](createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C, numPartitio w397090770 10年前 (2015-03-19) 22585℃ 0评论23喜欢
在本博客的《Spark将计算结果写入到Mysql中》文章介绍了如果将Spark计算后的RDD最终 写入到Mysql等关系型数据库中，但是这些写操作都是自己实现的，弄起来有点麻烦。不过值得高兴的是，前几天发布的Spark 1.3.0已经内置了读写关系型数据库的方法，我们可以直接在代码里面调用。 Spark 1.3.0中对数据库写操作是通过DataFrame类 w397090770 10年前 (2015-03-17) 13561℃ 6评论16喜欢
功能和collect函数类似。该函数用于Pair RDD，最终返回Map类型的结果。官方文档说明：Return the key-value pairs in this RDD to the master as a Map.Warning: this doesn't return a multimap (so if you have multiple values to the same key, only one value per key is preserved in the map returned)函数原型[code lang="scala"]def collectAsMap(): Map[K, V][/code]实例[code lang="scala w397090770 10年前 (2015-03-16) 16544℃ 0评论18喜欢
![Spark 1.X 大数据平台V2百度网盘下载[完整版]](https://www.iteblog.com/wp-content/themes/yusi2.0/img/pic/4.jpg)
![练数成金—Scala语言入门视频百度网盘下载[全五课]](https://www.iteblog.com/wp-content/themes/yusi2.0/img/pic/3.jpg)
