Spark Summit 2017会议于2017年06月05日至07日在旧金山（San Francisco）进行，全部会议一共179个。从会议我们得到目前的Spark发展方向主要包括两大主题：深度学习（Deep Learning）提升流系统的性能（ Streaming Performance）如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop2016年是深度学习之年，而 8年前 (2017-06-18) 1970℃ 0评论4喜欢
每个 NodeManager 节点内置提供了检测自身健康状态的机制（详情参见 NodeHealthCheckerService）；通过这种机制，NodeManager 会将诊断出来的监控状态通过心跳机制汇报给 ResourceManager，然后ResourceManager 端会通过 RMNodeEventType.STATUS_UPDATE 更新 NodeManager 的状态；如果此时的 NodeManager 节点不健康，那么 ResourceManager 将会把 NodeManager 状态变为 NodeState 8年前 (2017-06-08) 4286℃ 0评论18喜欢
ResourceManager 内维护了 NodeManager 的生命周期；对于每个 NodeManager 在 ResourceManager 中都有一个 RMNode 与其对应；除了 RMNode ，ResourceManager 中还定义了 NodeManager 的状态（states）以及触发状态转移的事件（event）。具体如下：org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNode：这是一个接口，每个 NodeManager 都与 RMNode 对应，这个接口主要维 8年前 (2017-06-07) 3614℃ 0评论21喜欢
Job execution logs and profiles are important when troubleshooting Hadoop errors, tuning job performance, and planning cluster capacity. In the past, the Job History Server has been the primary source for this information, providing logs of important events in MapReduce job execution and associated profiling metrics. With the advent of YARN, which enables execution frameworks beyond MapReduce, the responsibilities of the Job History Ser 8年前 (2017-06-02) 207℃ 0评论0喜欢
下面文档是今天早上翻译的，因为要上班，时间比较仓促，有些部分没有翻译，请见谅。2017年06月01日儿童节 Apache Flink 社区正式发布了 1.3.0 版本。此版本经历了四个月的开发，共解决了680个issues。Apache Flink 1.3.0 是 1.x.y 版本线上的第四个主要版本，其 API 和其他 1.x.y 使用 @Public 注释的API是兼容的。此外，Apache Flink 社区目前制 8年前 (2017-06-01) 2605℃ 1评论10喜欢
Apache YARN是将之前Hadoop 1.x的 JobTracker 功能分别拆到不同的组件里面了，每个组件分别负责不同的功能。在Hadoop 1.x中， JobTracker 负责管理集群的资源，作业调度以及作业监控；YARN把这些功能分别拆到ResourceManager 和 ApplicationMaster 中了。而之前的TaskTracker被NodeManager替代。下面分别介绍YAEN的各个组件的作用。如果想及时了解Spark、Had 8年前 (2017-06-01) 4037℃ 0评论31喜欢
SSDB 是一个使用 C/C++ 语言开发的高性能 NoSQL 数据库, 支持 KV, list, map(hash), zset(sorted set) 等数据结构, 用来替代或者与 Redis 配合存储十亿级别列表的数据。实现上其使用了 Google 的 LevelDB作为存储引擎，SSDB 不会像 Redis 一样狂吃内存，而是将大部分数据存储到磁盘上。最重要的是，SSDB采用了New BSD License 开源协议进行了开源，目前已经 8年前 (2017-05-27) 3029℃ 0评论7喜欢
2017年04月25日发布的nginx 1.13.0支持了TLSv1.3，而TLSv1.3相比之前的TLSv1.2、TLSv1.1等性能大幅提升。所以我迫不及待地将nginx升级到最新版1.13.0。下面记录如何升级nginx，本文基于CentOS release 6.6，其他的操作系统略有不同。如果你不知道你的系统是啥版本，可以通过下面的几个命令查询[code lang="bash"][root@iteblog.com ~]$ cat /etc/issueCentOS 8年前 (2017-05-23) 12389℃ 2评论10喜欢
昨天晚上，Apache Beam发布了第一个稳定版2.0.0，Apache Beam 社区声明：未来版本的发布将保持 API 的稳定性，并让 Beam 适用于企业的部署。Apache Beam 的第一个稳定版本是此社区第三个重要里程碑。Apache Beam 是在2016年2月加入 Apache 孵化器(Apache Incubator)，并在同年的12月成功毕业成为 Apache 基金会的顶级项目（《Apache Beam成为Apache顶级项目 8年前 (2017-05-18) 1758℃ 0评论3喜欢
如果你在Spark SQL中运行的SQL语句过长的话，会出现 java.lang.StackOverflowError 异常：[code lang="java"]java.lang.StackOverflowError at org.apache.spark.sql.hive.HiveQl$$anonfun$22.apply(HiveQl.scala:924) at org.apache.spark.sql.hive.HiveQl$$anonfun$22.apply(HiveQl.scala:924) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) at scala.collection.TraversableLike$$anonfun 8年前 (2017-05-17) 6327℃ 0评论7喜欢
![Spark Summit 2017 SanFrancisco全部PPT下载[共143个]](https://s.iteblog.com/pic/spark-summit-2017-SanFrancisco.png)
