登录
欢迎关注大数据技术架构与案例微信公众号：过往记忆大数据。
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号：
过往记忆大数据

最新发布 第101页

过往记忆专注于大数据技术构架及应用，微信公众号:过往记忆大数据

最热排行榜

Kafka

Kafka设计解析：Kafka High Availability

Kafka设计解析：Kafka High Availability
《Kafka剖析：Kafka背景及架构介绍》《Kafka设计解析：Kafka High Availability（上）》《Kafka设计解析：Kafka High Availability （下）》《Kafka设计解析：Replication工具》《Kafka设计解析：Kafka Consumer解析》　　Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服

w397090770   9年前 (2015-05-19) 5412℃ 0评论3喜欢

Spark

在Spark中尽量少使用GroupByKey函数

在Spark中尽量少使用GroupByKey函数
　　为什么建议尽量在Spark中少用GroupByKey，让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用 reduceByKey ；另外一种方式使用groupByKey，代码如下：[code lang="scala"]# User: 过往记忆# Date: 2015-05-18# Time: 下午22:26# bolg: # 本文地址：/archives/1357# 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量

w397090770   9年前 (2015-05-18) 33376℃ 0评论51喜欢

Spark

北京第七次Spark meetup会议资料分享

北京第七次Spark meetup会议资料分享
　　《Spark meetup(Beijing)资料分享》　　《Spark meetup(杭州)PPT资料分享》　　《北京第二次Spark meetup会议资料分享》　　《北京第三次Spark meetup会议资料分享》　　《北京第四次Spark meetup会议资料分享》　　《北京第五次Spark meetup会议资料分享》》　　《北京第六次Spark meetup会议资料分享》　　《杭州第三次Spark meetup会议

w397090770   9年前 (2015-05-15) 4801℃ 0评论3喜欢

Spark

Spark应用程序运行的日志存在哪里

Spark应用程序运行的日志存在哪里
　　如果你想知道Hadoop作业运行日志，可以查看这里《Hadoop日志存放路径详解》　　在很多情况下，我们需要查看driver和executors在运行Spark应用程序时候产生的日志，这些日志对于我们调试和查找问题是很重要的。　　Spark日志确切的存放路径和部署模式相关：　　（1）、如果是Spark Standalone模式，我们可以直接在Master UI界

w397090770   9年前 (2015-05-14) 39588℃ 6评论16喜欢

Spark

使用jvisualvm监控Spark作业

使用jvisualvm监控Spark作业
　　jvisualvm工具JDK自带的一个监控工具，该工具是用来监控java运行程序的cpu、内存、线程等的使用情况，并且使用图表的方式监控java程序、还具有远程监控能力，不失为一个用来监控Java程序的好工具。　　同样，我们可以使用jvisualvm来监控Spark应用程序（Application），从而可以看到Spark应用程序堆，线程的使用情况，从而根据这

w397090770   9年前 (2015-05-13) 10668℃ 0评论9喜欢