Hadoop 2.5.2《Apache Hadoop 2.5.2发布:YARN新增部分功能》才刚刚发布不久,Hadoop 2.6.0就发布了,不过从官方网站上看到发布时间居然写的是2014-11-18,比 Hadoop 2.5.2还早,但是从源码下载网站可到,更新时间是2014-11-30,所以Hadoop 2.6.0更新时间可能写错了,应该是2014-11-28。好了,废话不多说了,看下Hadoop 2.6.0的重要特性吧。
Apache Hadoop 2.6.0包含了许多重要的特性。
Hadoop Common
1、Key management server (beta版本)。Hadoop KMS是基于KeyProvider API的密钥管理服务器,它是一个Java web应用程序,内部提供了客户端和服务器组建,它们之间通过REST API在HTTP协议上通信。客户端是KeyProvider的一种实现,并通过KMS HTTP REST API和KMS交互。KMS和它的客户端内置了安全机制,支持HTTP SPNEGO Kerberos授权和HTTPS安全传输。Hadoop KMS对Hadoop和Hadoop用户来说是一个安全网关。它为现有的Hadoop安全组建(authenticatication, confidentiality)提供了相应的接口。(HADOOP-10433)
2、Credential provider(beta版本)。它是credential providers内部提供管理credentials, passwords and secrets的命令(HADOOP-10922、HADOOP-11031、HADOOP-10607)
Hadoop HDFS
- 异构的存储层进入到第二阶段,主要更新有:(1)、异构存储的应用程序API;(2)、SSD存储层;(3)、内存作为存储层(beta版本)。
- 支持Archival存储,具体参见 《HDFS 归档存储编程指南》
- Transparent data at rest encryption
- 操作安全的DataNode,无需root访问权限(Operating secure DataNode without requiring root access)。
- 热插拔驱动器,支持动态的添加、删除DataNode上面的磁盘,而不需要重启DataNode(beta版本)。
- AES(Advanced Encryption Standard)支持快速的wire encryption。
Hadoop YARN
- 在YARN中支持长时间运行的服务,支持应用程序的服务注册。
- 支持滚动升级:(1)、ResourceManager上的工作可以保存起来,并可以继续运行;(2)、NodeManager上的Container可以保存起来,,并可以继续运行。
- Support node labels during scheduling;
- 在CapacityScheduler中支持基于时间的资源保留(beta版本);
- 为application artifacts提供了一个全局的,共享内存(beta版本);
- 支持在Docker容器中本地地运行applications(alpha版本)。
重要的一些bug修复列表:
Hadoop Common
HADOOP-10433 - Key management server (beta)
HADOOP-10607 - Credential provider (beta)
Hadoop HDFS
Heterogeneous Storage Tiers - Phase 2
HDFS-5682 - Application APIs for heterogeneous storage
HDFS-7228 - SSD storage tier
HDFS-5851 - Memory as a storage tier (beta)
HDFS-6584 - Support for Archival Storage
HDFS-6134 - Transparent data at rest encryption (beta)
HDFS-2856 - Operating secure DataNode without requiring root access
HDFS-6740 - Hot swap drive: support add/remove data node volumes without restarting data node (beta)
HDFS-6606 - AES support for faster wire encryption
Hadoop YARN
YARN-896 - Support for long running services in YARN
YARN-913 - Service Registry for applications
YARN-666 - Support for rolling upgrades
YARN-556 - Work-preserving restarts of ResourceManager
YARN-1336 - Container-preserving restart of NodeManager
YARN-796 - Support node labels during scheduling
YARN-1051 - Support for time-based resource reservations in Capacity Scheduler (beta)
YARN-1492 - Global, shared cache for application artifacts (beta)
YARN-1964 - Support running of applications natively in Docker containers (alpha)
全部的Bug修复看这里
HADOOP
Move to JDK7+ HADOOP-10530
Support JDK8 in Hadoop HADOOP-11090
HDFS
Support for Erasure Codes in HDFS HDFS-7285
YARN
Support disk as a resource in YARN for scheduling and isolation YARN-2139
Dynamic Resource Configuration YARN-291
Support NodeGroup layer topology on YARN YARN-18
MAPREDUCE
这个还没有。
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【重大新闻:Hadoop 2.6.0发布】(https://www.iteblog.com/archives/1214.html)