我们已经在 这篇文章详细介绍了 Apache Spark Delta Lake 的事务日志是什么、主要用途以及如何工作的。那篇文章已经可以很好地给大家介绍 Delta Lake 的内部工作原理，原子性保证，本文为了学习的目的，带领大家从源码级别来看看 Delta Lake 事务日志的实现。在看本文时，强烈建议先看一下《深入理解 Apache Spark Delta Lake 的事务日志》文 5年前 (2019-09-02) 1758℃ 0评论4喜欢
事务日志是理解 Delta Lake 的关键，因为它是贯穿许多最重要功能的通用模块，包括 ACID 事务、可扩展的元数据处理、时间旅行（time travel）等。本文我们将探讨事务日志（Transaction Log）是什么，它在文件级别是如何工作的，以及它如何为多个并发读取和写入问题提供优雅的解决方案。事务日志（Transaction Log）是什么Delta Lake 事务日 5年前 (2019-08-22) 1844℃ 0评论6喜欢
MongoDB 4.2 稳定版于近日正式发布了，此版本带来了许多最大的特性，比如分布式事务（Distributed Transactions）、客户端字段级别加密（Client-Side Field-Level Encryption)、按需物化视图（On-Demand Materialized Views）以及通配符索引（Wildcard Indexes）。下面我们来简单介绍一下各个新特性。如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关 5年前 (2019-08-18) 1992℃ 0评论3喜欢
今年是我创建这个微信公众号的第五年，五年来，收获了6.8万粉丝。这个数字，在自媒体圈子，属于十八线小规模的那种，但是在纯技术圈，还是不错的成绩，我很欣慰。我花在这个号上面的时间挺多的。我平时下班比较晚，一般下班到家了，老婆带着孩子已经安睡了，我便轻手轻脚的拿出电脑，带上耳机，开始我一天的知识盘 5年前 (2019-08-13) 5662℃ 2评论33喜欢
我们在 Apache Spark DataSource V2 介绍及入门编程指南（上） 文章中介绍了 Apache Spark DataSource V1 的不足，所以才有了 Data Source API V2 的诞生。Data Source API V2为了解决 Data Source V1 的一些问题，从 Apache Spark 2.3.0 版本开始，社区引入了 Data Source API V2，在保留原有的功能之外，还解决了 Data Source API V1 存在的一些问题，比如不再依赖上层 API 5年前 (2019-08-13) 3966℃ 1评论9喜欢
Data Source API 定义如何从存储系统进行读写的相关 API 接口，比如 Hadoop 的 InputFormat/OutputFormat，Hive 的 Serde 等。这些 API 非常适合用户在 Spark 中使用 RDD 编程的时候使用。使用这些 API 进行编程虽然能够解决我们的问题，但是对用户来说使用成本还是挺高的，而且 Spark 也不能对其进行优化。为了解决这些问题，Spark 1.3 版本开始引入了 D 5年前 (2019-08-13) 3595℃ 0评论3喜欢
美国当地时间2019年8月5日，惠普企业（Hewlett Packard Enterprises，纽约证券交易所股票代码：HPE）宣布收购 MapR Technologies Inc. 的业务资产！如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop此交易包括 MapR 的技术，知识产权以及人工智能和机器学习（AI/ML）和分析数据管理领域的专业知识。MapR 是 5年前 (2019-08-12) 1238℃ 0评论1喜欢
在 《Apache Hadoop 的 HDFS federation 前世今生(上)》 已经介绍了 Hadoop 2.9.0 版本之前 HDFS federation 存在的问题，那么为了解决这个问题，社区采取了什么措施呢？HDFS Router-based FederationViewFs 方案虽然可以很好的解决文件命名空间问题，但是它的实现有以下几个问题：ViewFS 是基于客户端实现的，需要用户在客户端进行相关的配置，那 6年前 (2019-07-26) 2048℃ 0评论2喜欢
背景熟悉大数据的人应该都知道，HDFS 是一个分布式文件系统，它是基于谷歌的 GFS 思路实现的开源系统，它的设计目的就是提供一个高度容错性和高吞吐量的海量数据存储解决方案。在经典的 HDFS 架构中有2个 NameNode 和多个 DataNode 的，如下：如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop从 6年前 (2019-07-25) 2261℃ 0评论3喜欢
Spark SQL 是 Spark 最新且技术最复杂的组件之一。它同时支持 SQL 查询和新的 DataFrame API。Spark SQL 的核心是 Catalyst 优化器，它以一种全新的方式利用高级语言的特性（例如：Scala 的模式匹配和 Quasiquotes ①）构建一个可扩展的查询优化器。最近我们在 SIGMOD 2015 发表了一篇论文（合作者：Davies Liu，Joseph K. Bradley，Xiangrui Meng，Tomer Kaftan 6年前 (2019-07-21) 3289℃ 0评论5喜欢
