经过三个多月，发现自己已经写了好几篇关于常用Hadoop生态圈分布式安装的文章，比如Hadoop、Hive、Zookeeper、Hbase等软件的分布式安装，今天就汇总一下吧，这样也方便大家查阅，如果发现里面有任何错误可以邮件联系我（wyphao.2007@163.com）或者直接在相应文章里面留言，我会及时更正。 1、Hadoop-2.2.0伪分布式安装：《在Fedora w397090770 11年前 (2014-01-26) 6959℃ 1评论8喜欢
在本博客的《Flume-1.4.0和Hbase-0.96.0整合》我们已经学习了如何使用Flume-1.4.0和Hbase-0.96.0进行整合。我们可以很容易的配置Hbase sink，并和最新版的Hbase整合，但是由于项目的特殊情况，我需要将Flume-0.9.4和Hbase-0.96整合，搞过这个的人应该知道，Flume-0.9.4和Hbase-0.96非常棘手，各种版本的不兼容等情况，最终通过我和同事的两天奋战 w397090770 11年前 (2014-01-25) 7181℃ 1评论2喜欢
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 Flume主要有以下几类组件： （1）、Master: 负责配置及通信管理，是集群的控制器，并支持多mas w397090770 11年前 (2014-01-23) 6788℃ 1评论3喜欢
关于如何编译Flume-ng 1.4.0可以参见本博客的《基于Hadoop-2.2.0编译flume-ng 1.4.0及错误解决》 在编译Flume-0.9.4源码的时候出现了以下的错误信息：[code lang="JAVA"][INFO] ------------------------------------------------------------------------[INFO] Reactor Summary:[INFO][INFO] Flume ............................................. SUCCESS [0.003s][INFO] Flume Core ............ w397090770 11年前 (2014-01-22) 10780℃ 2评论2喜欢
由于需要在Flume里面加入一些我需要的代码，这时候就需要重新编译Flume代码，因为在编译Flume源码的时候出现了很多问题，所以写出这篇博客，以此分享给那些也需要编译代码的人一些参考，这里以如何编译Flume-0.9.4源码为例进行说明。 首先下载Flume0.9.4源码(可以到https://repository.cloudera.com/content/repositories/releases/com/cloudera/fl w397090770 11年前 (2014-01-22) 12294℃ 1评论4喜欢
最近由于项目需要把Flume收集到的日志信息插入到Hbase中，由于第一次接触这些，在整合的过程中，我遇到了许多问题，我相信很多人也应该会遇到这些问题的，于是我把整个整合的过程写出来，希望给那些同样遇到这样问题的朋友帮助。 在使用Flume的时候，请确保你电脑里面已经搭建好Hadoop、Hbase、Zookeeper以及Flume。本文 w397090770 11年前 (2014-01-21) 11315℃ 6评论1喜欢
由于项目需要，需要在集群中安装好Zookeeper，这里我选择最新版本的Zookeeper3.4.5。 ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统 w397090770 11年前 (2014-01-20) 9482℃ 6评论8喜欢
在《Zookeeper 3.4.5分布式安装手册》、《Hadoop2.2.0完全分布式集群平台安装与设置》文章中，我们已经详细地介绍了如何搭建分布式的Zookeeper、Hadoop等平台，今天，我们来说说如何在Hadoop、Zookeeper上搭建完全分布式的Hbase平台。这里同样选择目前最新版的Hbase用于配合最新版的Hadoop-2.2.0，所以我们选择了Hbase-0.96.0。 1、下载并解压HB w397090770 11年前 (2014-01-19) 11189℃ 6评论1喜欢
写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。/archives/tag/hive的那些事 这几天比较忙，公司里面各种事，所以 w397090770 11年前 (2014-01-14) 30683℃ 4评论42喜欢
虽然在运行Hadoop的时候可以打印出大量的运行日志，但是很多时候只通过打印这些日志是不能很好地跟踪Hadoop各个模块的运行状况。这时候编译与调试Hadoop源码就得派上场了。这也就是今天本文需要讨论的。编译Hadoop源码 先说说怎么编译Hadoop源码，本文主要介绍在Linux环境下用Maven来编译Hadoop。在编译Hadoop之前，我们 w397090770 11年前 (2014-01-09) 19952℃ 0评论10喜欢
