本文资料来自2020年9月23日举办的 Apache Spark Bogotá 题为《Apache Spark 3.0: Overview of What’s New and Why Care》 的分享。
Apache Spark 3.0 继续坚持更快、更简单、更智能的目标,这个版本解决了3000多个 JIRAs。在这次演讲中,主要和 Bogota Spark 社区分享 Spark 3.0 的特性和增强,具体来说,主要涉及以下几个方面:
- 性能方面的改进
- 可用性方面的改进
- ANSI SQL 的兼容
- Pandas UDFs
- Project Hydrogen
- 兼容性和迁移相关注意事项
- Project Zen: PySpark 未来的改进
- Spark 生态方面
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【Apache Spark 3.0 新功能最新分享】(https://www.iteblog.com/archives/9897.html)