我在《将Flink DataSet中的数据写入到ElasticSearch(低级篇)》文章中介绍了如何使用Flink将DataSet中的数据写入到ElasticSearch中。正如文章标题写的，那只是低级篇，我们不会在写入大量数据的时候使用那种方法，所以我们得使用另外一种。我们肯定会想，能不能一次批量写入大量数据呢？翻翻ElasticSearch就知道，其提供了bulk API，可以帮 w397090770 8年前 (2016-10-20) 6673℃ 0评论11喜欢
Apache Flume 1.7.0是自Flume成为Apache顶级项目的第十个版本。Apache Flume 1.7.0可以在生产环境下使用。Flume 1.7.0 User Guide下载Flume 1.7.0Flume 1.7.0 Developer GuideChanges[code lang="bash"]** New Feature[FLUME-2498] - Implement Taildir Source** Improvement[FLUME-1899] - Make SpoolDir work with Sub-Directories[FLUME-2526] - Build flume by jdk 7 in default[FLUME-2628] - Add an optiona w397090770 8年前 (2016-10-19) 3641℃ 0评论9喜欢
杭州第一次Flink Meetup会议将于2016年11月05日在杭州市滨江区江虹路410号进行，本次活动由华为杭研院承办。 Flink Meetup目前由德国柏林和英国伦敦这两个，这次活动是国内第一次Flink Meetup线下活动，开启第三个Flink Meeup活动大本营。 当下流计算系统可选的较多，Flink的性能和特性比较突出，其他流系统也各有特点。这 w397090770 8年前 (2016-10-18) 1664℃ 0评论1喜欢
Apache Zeppelin 0.6.2发布。从上一个版本开始，Apache Zeppelin社区就在努力解决对Spark 2.0的支持以及一些Bug的修复。本次共有26位贡献者提供超过40多个补丁改进Apache Zeppelin和Bug修复。从Apache Zeppelin 0.6.1版本开始，编译的时候默认使用Scala 2.11。如果你想使用Scala 2.10来编译Apache Zeppelin，或者安装使用Scala 2.10编译的interpreter请参见官方文 w397090770 8年前 (2016-10-18) 1973℃ 0评论2喜欢
在这篇文章中，我将介绍如何在Spark中使用Akka-http并结合Cassandra实现REST服务，在这个系统中Cassandra用于数据的存储。 我们已经见识到Spark的威力，如果和Cassandra正确地结合可以实现更强大的系统。我们先创建一个build.sbt文件，内容如下：[code lang="scala"]name := "cassandra-spark-akka-http-starter-kit"version := "1.0" w397090770 8年前 (2016-10-17) 3853℃ 1评论5喜欢
Apache Flink 1.1.3仍然在Flink 1.1系列基础上修复了一些Bug，推荐所有用户升级到Flink 1.1.3，只需要在你相关工程的pom.xml文件里面加入以下依赖：[code lang="xml"]<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.1.3</version></dependency><dependency> <groupId>org.apache w397090770 8年前 (2016-10-16) 1570℃ 0评论5喜欢
Flink内置提供了将DataStream中的数据写入到ElasticSearch中的Connector(flink-connector-elasticsearch2_2.10)，但是并没有提供将DateSet的数据写入到ElasticSearch。本文介绍如何通过自定义OutputFormat将Flink DateSet里面的数据写入到ElasticSearch。 如果需要将DateSet中的数据写入到外部存储系统（比如HDFS），我们可以通过writeAsText、writeAsCsv、write等内 w397090770 8年前 (2016-10-11) 5751℃ 0评论8喜欢
我在《Hadoop&Spark解决二次排序问题(Hadoop篇)》文章中介绍了如何在Hadoop中实现二次排序问题，今天我将介绍如何在Spark中实现。问题描述二次排序就是key之间有序，而且每个Key对应的value也是有序的；也就是对MapReduce的输出(KEY, Value(v1,v2,v3,......,vn))中的Value(v1,v2,v3,......,vn)值进行排序（升序或者降序），使得Value(s1,s2,s3,......,sn)，si w397090770 8年前 (2016-10-08) 6156℃ 0评论12喜欢
流处理系统月刊是一份专门收集关于Spark、Flink、Kafka、Apex等流处理系统的技术干货月刊，完全免费，每天更新，欢迎关注。下面资源如无法正常访问，请使用《最新可访问Google的Hosts文件》或《Tunnello：免费的浏览器翻墙插件》进行科学上网。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoo w397090770 8年前 (2016-10-07) 4345℃ 0评论5喜欢
流处理系统月刊是一份专门收集关于Spark、Flink、Kafka、Apex等流处理系统的技术干货月刊，完全免费，每天更新，欢迎关注。下面资源如无法正常访问，请使用《最新可访问Google的Hosts文件》进行科学上网。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop#iteblog a:link { text-decoration: underline;}#it w397090770 8年前 (2016-10-06) 2655℃ 0评论4喜欢
