昨天晚上,Apache Beam发布了第一个稳定版2.0.0,Apache Beam 社区声明:未来版本的发布将保持 API 的稳定性,并让 Beam 适用于企业的部署。
Apache Beam 的第一个稳定版本是此社区第三个重要里程碑。Apache Beam 是在2016年2月加入 Apache 孵化器(Apache Incubator),并在同年的12月成功毕业成为 Apache 基金会的顶级项目(《Apache Beam成为Apache顶级项目》)。经过这15个月的努力,并以一个有点混乱的代码库为起点,期间合并了多个组织的代码,如今真正发展成为环境无关的、通用的数据处理引擎。Beam 经过三个孵化器版本和三个后孵化器版本的演化和改进,今天终于迎来了它的第一个稳定版 2.0.0。
Apache Beam 2.0.0 改进了用户体验,专注于多种执行环境的无缝可移植性,包括执行引擎、操作系统、内部集群、云服务商,以及数据存储系统。除此之外,下面的几个特点也值得关注:
- 在未来,只要是2.x.x版本的Apache Beam,其API是互相兼容的;
- Stateful data processing paradigms that unlock efficient, data-dependent computations;(不知道如何翻译)
- 支持用户扩展的文件系统,内置支持Hadoop分布式文件系统;本人有幸为HDFS模块提供了两个小PR:BEAM-1491、BEAM-1856
- 提供了一个度量指标系统,用于深入了解pipeline的执行;
参与此版本开发的开发者
- Ahmet Altay
- Eric Anderson
- Raghu Angadi
- Sourabh Bajaj
- Péter Gergő Barna
- Chen Bin
- Davor Bonaci
- Robert Bradshaw
- Ben Chambers
- Etienne Chauchot
- Chang Chen
- Charles Chen
- Craig Citro
- Lukasz Cwik
- Márton Elek
- Pablo Estrada
- Josh Forman-Gornall
- Maria García Herrero
- Jins George
- Damien Gouyette
- Thomas Groh
- Dan Halperin
- Pei He
- Hadar Hod
- Chamikara Jayalath
- Rekha Joshi
- Uwe Jugel
- Sung Junyoung
- Holden Karau
- Vikas Kedigehalli
- Eugene Kirpichov
- Tibor Kiss
- Kenneth Knowles
- Vassil Kolarov
- Chinmay Kolhatkar
- Aljoscha Krettek
- Dipti Kulkarni
- Radhika Kulkarni
- Jason Kuster
- Reuven Lax
- Stas Levin
- Julien Lhermitte
- Jingsong Li
- Neville Li
- Mark Liu
- Michael Luckey
- Andrew Martin
- Ismaël Mejía
- Devon Meunier
- Neda Mirian
- Anil Muppalla
- Gergely Novak
- Jean-Baptiste Onofré
- Melissa Pashniak
- peay
- David Rieber
- Rahul Sabbineni
- Kobi Salant
- Amit Sela
- Mark Shalda
- Stephen Sisk
- Yuya Tajima
- Wesley Tanaka
- JiJun Tang
- Valentyn Tymofieiev
- David Volquartz
- Huafeng Wang
- Thomas Weise
- Rafal Wojdyla
- Yangping Wu
- wyp
- James Xu
- Mingmin Xu
- Ted Yu
- Borisa Zivkovic
- Aviem Zur
更多的关于Apache Beam 2.0.0 请参见其官方文档https://beam.apache.org/documentation/
本博客文章除特别声明,全部都是原创!原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【Apache Beam发布第一个稳定版,适用于企业的部署】(https://www.iteblog.com/archives/2154.html)