欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

最新发布 第116页

过往记忆专注于大数据技术构架及应用,微信公众号:过往记忆大数据

网站建设

《过往记忆》博客公告:邮箱系统正常啦

《过往记忆》博客公告:邮箱系统正常啦
  首先,很感谢大家对本博客的支持。  在此我想给各位网友阐述两件事(1)、QQ群问题;(2)、网站无法注册问题。如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop一、QQ群问题(定期清人)  我在今年五月份创建了一个QQ群(群号:138615359),用来讨论Hadoop、Spark等相关方面

w397090770   10年前 (2014-09-17) 3891℃ 4评论8喜欢

Hive

用Maven编译Spark 1.1.0

用Maven编译Spark 1.1.0
  Spark 1.1.0已经在前几天发布了(《Spark 1.1.0发布:各个模块得到全面升级》、《Spark 1.1.0正式发布》),本博客对Hive部分进行了部分说明:《Spark SQL 1.1.0和Hive的兼容说明》、《Shark迁移到Spark 1.1.0 编程指南》,在这个版本对Hive的支持更加完善了,如果想在Spark SQL中加入Hive,并加入JDBC server和CLI,我们可以在编译的时候通过加上参

w397090770   10年前 (2014-09-17) 18509℃ 8评论10喜欢

Hadoop

Hadoop2.x 深入浅出企业级应用实战视频下载

Hadoop2.x 深入浅出企业级应用实战视频下载
  本博客分享的其他视频下载地址:《传智播客Hadoop实战视频下载地址[共14集]》、《传智播客Hadoop课程视频资料[共七天]》、《Hadoop入门视频分享[共44集]》、《Hadoop大数据零基础实战培训教程下载》、《Hadoop2.x 深入浅出企业级应用实战视频下载》、《Hadoop新手入门视频百度网盘下载[全十集]》  本博客收集到的Hadoop学习书

w397090770   10年前 (2014-09-16) 119833℃ 4评论290喜欢

Mahout

用Maven编译Mahout工程

用Maven编译Mahout工程
一、前提条件  1、安装好Java JDK 1.6或以上版本;  2、安装好Apache Maven。  如果上述条件准备好之后,下面开始用Maven编译Mahout源码二、git一份Mahout源码  用下面的命令从 Mahout GitHub 仓库Git(如果你电脑没有安装Git软件,可以参照这个安装《Git安装》)一份代码到本地[code lang="JAVA"]git clone git@github.com:apache/mahout.git

w397090770   10年前 (2014-09-16) 6257℃ 0评论3喜欢

Hadoop

MapReduce:详细介绍Shuffle的执行过程

MapReduce:详细介绍Shuffle的执行过程
  Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料

w397090770   10年前 (2014-09-15) 16413℃ 7评论59喜欢

Spark

Spark 1.1.0发布:各个模块得到全面升级

Spark 1.1.0发布:各个模块得到全面升级
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop  今天我很激动地宣布Spark 1.1.0发布了,Spark 1.1.0引入了许多新特征(new features)包括了可扩展性和稳定性方面的提升。这篇文章主要是介绍了Spark 1.1.0主要的特性,下面的介绍主要是根据各个特征重要性的优先级进行说明的。在接下来的两个星

w397090770   10年前 (2014-09-12) 4698℃ 2评论8喜欢

Spark

Spark 1.1.0正式发布

Spark 1.1.0正式发布
  我们期待已久的Spark 1.1.0在美国时间的9月11日正式发布了,官方发布的声明如下:We are happy to announce the availability of Spark 1.1.0! Spark 1.1.0 is the second release on the API-compatible 1.X line. It is Spark’s largest release ever, with contributions from 171 developers!This release brings operational and performance improvements in Spark core including a new implementation of the Spark

w397090770   10年前 (2014-09-12) 3809℃ 0评论2喜欢

Hive

Spark SQL 1.1.0和Hive的兼容说明

Spark SQL 1.1.0和Hive的兼容说明
  Spark SQL也是可以直接部署在当前的Hive wareHouse。  Spark SQL 1.1.0的 Thrift JDBC server 被设计成兼容当前的Hive数据仓库。你不需要修改你的Hive元数据,或者是改变表的数据存放目录以及分区。如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop  以下列出来的是当前Spark SQL(1.1.0)对Hive特性的

w397090770   10年前 (2014-09-11) 9421℃ 1评论8喜欢

Shark

Shark迁移到Spark 1.1.0 编程指南

Shark迁移到Spark 1.1.0 编程指南
  Spark 1.1.0马上就要发布了(估计就是明天),其中更新了很多功能。其中对Spark SQL进行了增强:  1、Spark 1.0是第一个预览版本( 1.0 was the first “preview” release);  2、Spark 1.1 将支持Shark更新(1.1 provides upgrade path for Shark),    (1)、Replaced Shark in our benchmarks with 2-3X perfgains;    (2)、Can perform optimizations with 10-

w397090770   10年前 (2014-09-11) 7786℃ 2评论5喜欢

Mysql

Spark与Mysql(JdbcRDD)整合开发

Spark与Mysql(JdbcRDD)整合开发
  如果你需要将RDD写入到Mysql等关系型数据库,请参见《Spark RDD写入RMDB(Mysql)方法二》和《Spark将计算结果写入到Mysql中》文章。  Spark的功能是非常强大,在本博客的文章中,我们讨论了《Spark和Hbase整合》、《Spark和Flume-ng整合》以及《和Hive的整合》。今天我们的主题是聊聊Spark和Mysql的组合开发。如果想及时了解Spark、Had

w397090770   10年前 (2014-09-10) 38759℃ 7评论32喜欢