为帮助开发者更深入的了解这三个大数据开源技术及其实际应用场景，9月8日，InfoQ联合华为云举办了一场实时大数据Meetup，集结了来自Databricks、华为及美团点评的大咖级嘉宾前来分享。作为Spark Structured Streaming最核心的开发人员、Databricks工程师，Tathagata Das（以下简称“TD”）在开场演讲中介绍了Structured Streaming的基本概念 6年前 (2018-09-21) 4823℃ 0评论10喜欢
本文来自于2018年09月19日在 Adobe Systems Inc 举行的 Apache Spark Meetup。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对 Apache Spark 2.4 的主要功能和增强功能进行了概述。新的调度模型（Barrier Scheduling），使用户能够将分布式深度学 6年前 (2018-09-20) 3298℃ 0评论8喜欢
这次整理的 PPT 来自于2018年09月03日至05日在 Berlin 进行的 flink forward 会议，这种性质的会议和大家熟知的Spark summit类似。本次会议的官方日程参见：https://berlin-2018.flink-forward.org/。本次会议共有超过350个 Flink 社区会员的人参与，因为原始的 PPT 是在 http://www.slideshare.net/ 网站，这个网站需要翻墙；为了学习交流的方便，本博客将这些 P 6年前 (2018-09-19) 2601℃ 2评论5喜欢
概述Hadoop archives 是特殊的档案格式。一个 Hadoop archive 对应一个文件系统目录。 Hadoop archive 的扩展名是 *.har。Hadoop archive 包含元数据（形式是 _index 和 _masterindx）和数据（part-*）文件。_index 文件包含了档案中文件的文件名和位置信息。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop如何 6年前 (2018-09-17) 2134℃ 0评论1喜欢
经常使用 Apache Spark 从 Kafka 读数的同学肯定会遇到这样的问题：某些 Spark 分区已经处理完数据了，另一部分分区还在处理数据，从而导致这个批次的作业总消耗时间变长；甚至导致 Spark 作业无法及时消费 Kafka 中的数据。为了简便起见，本文讨论的 Spark Direct 方式读取 Kafka 中的数据，这种情况下 Spark RDD 中分区和 Kafka 分区是一一对 6年前 (2018-09-08) 6644℃ 0评论25喜欢
关于 HBase 的 MOB 具体使用可以参见 《HBase MOB（Medium Object）使用入门指南》介绍Apache HBase 中等对象存储（Medium Object Storage, 下面简称 MOB）的特性是由 HBASE-11339 引入的。该功能可以提高 HBase 对中等尺寸文件的低延迟读写访问（理想情况下，文件大小为 100K 到 10MB），这个功能使得 HBase 非常适合存储文档，图片和其他中等尺寸的对 6年前 (2018-08-27) 2400℃ 0评论2喜欢
本文整理自8月11日在北京举行的 Flink Meetup 会议，分享嘉宾施晓罡，目前在阿里大数据团队部从事Blink方面的研发，现在主要负责Blink状态管理和容错相关技术的研发。本文由韩非（Flink China社区志愿者）整理一、有状态的流数据处理1、什么是有状态的计算计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大 6年前 (2018-08-24) 9125℃ 0评论21喜欢
在 这篇 和 这篇 文章中我分别介绍了如何将 MySQL 的全量数据导入到 Apache Solr 中以及如何分页导入等，本篇文章将继续介绍如何将 MySQL 的增量数据导入到 Solr 中。增量导数接口为 deltaimport，对应的页面如下：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop如果我们使用 《将 MySQL 的全量 6年前 (2018-08-18) 1648℃ 0评论3喜欢
Flink China社区线下 Meetup·上海站会议于 2018年7月29日 在上海市杨浦区政学路77号INNOSPACE进行。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop活动议程14:00-14:10 大沙 出品人开场发言14:10-14:40 阿里 巴真 《阿里在Flink的优化和改进分享》14:40-15:10 唯品会 王新春 《Flink在唯品会的实践》详细 6年前 (2018-08-13) 2337℃ 0评论5喜欢
为期两个月开发的 Apache Flink 1.6.0 于今天（2018-08-09）正式发布了。Flink 社区艰难地解决了 360 个 issues，到这里查看完整版的 changelog 。Flink 1.6.0 是 1.x.y 版本系列上的第七个版本，1.x.y 中所有使用 @Public 标注的 API 都是兼容的。此版本继续使 Flink 用户能够无缝地运行快速数据处理并轻松构建数据驱动和数据密集型应用程序。Apache Fli 7年前 (2018-08-09) 1954℃ 0评论10喜欢
