欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

2015年06月的内容

Kafka

Kafka设计解析:Replication工具

Kafka设计解析:Replication工具
《Kafka剖析:Kafka背景及架构介绍》《Kafka设计解析:Kafka High Availability(上)》《Kafka设计解析:Kafka High Availability (下)》《Kafka设计解析:Replication工具》《Kafka设计解析:Kafka Consumer解析》Topic Tool  $KAFKA_HOME/bin/kafka-topics.sh,该工具可用于创建、删除、修改、查看某个Topic,也可用于列出所有Topic。另外,该工具还

w397090770   9年前 (2015-06-05) 13802℃ 4评论7喜欢

Kafka

Kafka设计解析:Kafka High Availability (下)

Kafka设计解析:Kafka High Availability (下)
《Kafka剖析:Kafka背景及架构介绍》《Kafka设计解析:Kafka High Availability(上)》《Kafka设计解析:Kafka High Availability (下)》《Kafka设计解析:Replication工具》《Kafka设计解析:Kafka Consumer解析》  本文在上篇文章(《Kafka设计解析:Kafka High Availability(上)》)基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种

w397090770   9年前 (2015-06-04) 4490℃ 0评论6喜欢

Python

Spark1.4中DataFrame功能加强,新增科学和数学函数

Spark1.4中DataFrame功能加强,新增科学和数学函数
  社区在Spark 1.3中开始引入了DataFrames,使得Apache Spark更加容易被使用。受R和Python中的data frames激发,Spark中的DataFrames提供了一些API,这些API在外部看起来像是操作单机的数据一样,而数据科学家对这些API非常地熟悉。统计是日常数据科学的一个重要组成部分。在即将发布的Spark 1.4中改进支持统计函数和数学函数(statistical and mathem

w397090770   9年前 (2015-06-03) 13920℃ 2评论3喜欢

Kafka

Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现

Spark+Kafka的Direct方式将偏移量发送到Zookeeper实现
  Apache Spark 1.3.0引入了Direct API,利用Kafka的低层次API从Kafka集群中读取数据,并且在Spark Streaming系统里面维护偏移量相关的信息,并且通过这种方式去实现零数据丢失(zero data loss)相比使用基于Receiver的方法要高效。但是因为是Spark Streaming系统自己维护Kafka的读偏移量,而Spark Streaming系统并没有将这个消费的偏移量发送到Zookeeper中,

w397090770   9年前 (2015-06-02) 25621℃ 36评论22喜欢

Python

使用Spark读写CSV格式文件

使用Spark读写CSV格式文件
  CSV格式的文件也称为逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号。在本文中的CSV格式的数据就不是简单的逗号分割的),其文件以纯文本形式存表格数据(数字和文本)。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符

w397090770   9年前 (2015-06-01) 61051℃ 2评论26喜欢

网络编程

使用HttpClient通过post方式发送json数据

使用HttpClient通过post方式发送json数据
  有时候我们在发送HTTP请求的时候会使用到POST方式,如果是传送普通的表单数据那将很方便,直接将参数到一个Key-value形式的Map中即可。但是如果我们需要传送的参数是Json格式的,会稍微有点麻烦,我们可以使用HttpClient类库提供的功能来实现这个需求。假设我们需要发送的数据是:[code lang="java"]{ "blog": "",

w397090770   9年前 (2015-06-01) 84660℃ 0评论69喜欢