欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

Spark 1.2.2和Spark 1.3.1同时发布(都是稳定版)

  Spark 1.2.2和Spark 1.3.1于美国时间2015年4月17日同时发布。两个都是维护版本,并推荐所有1.3和1.2的Spark使用用户升级到相应的版本。


如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

spark 1.2.2(稳定版本)

  spark 1.2.2主要是维护版本,修复了许多Bug,是基于Spark 1.2的分支。并推荐所有使用1.2.1的用户升级到这个稳定版本。本版本一共有39位开发者参与。修复的主要Bug如下:

  Spark Core

  1、Thread safety problem in Netty shuffle (SPARK-6578)
  2、Memory leak in JobProgressListener (SPARK-5967)
  3、Unable to launch on YARN 2.5.0 and later (SPARK-4267)
  4、YARN auxiliary shuffle issue in secure mode (SPARK-5655)

  PySpark

  1、Jobs hang during collect operation (SPARK-6667)
  2、Zip fails with serializer error (SPARK-5973)
  3、Memory leak using Spark SQL with PySpark (SPARK-6055)
  4、Hanging when using large broadcast variables (SPARK-5363)

  完整的Bug修改列表请参照http://s.apache.org/spark-1.2.2

spark 1.3.1(稳定版本)

  和Spark 1.2.2一样,Spark 1.3.1也是维护版本,修复了许多Bug,是基于Spark 1.3的分支。推荐所有的1.3.0用户升级到这个稳定版本。一共有60位开发者参与。主要修复的Bug如下:

  Spark SQL

  1、Unable to use reserved words in DDL (SPARK-6250)
  2、Parquet no longer caches metadata (SPARK-6575)
  3、Bug when joining two Parquet tables (SPARK-6851)
  4、Unable to read parquet data generated by Spark 1.1.1 (SPARK-6315)

  Spark Streaming

  1、Potential for data loss during WAL recovery (SPARK-6222)

  PySpark

  1、Potential program hang when calling collect (SPARK-6667)

  Spark Core

  1、Thread safety issue in Netty shuffle (SPARK-6578)
  2、Memory leak in output committer map (SPARK-6737)
  3、Unable to perform fetch file when local directories run NFS (SPARK-6313)
  4、NPE when cancelling and using mix of job groups (SPARK-6414)

  完整的Bug修改列表请参照http://s.apache.org/spark-1.3.1

下载地址和Release Note

  下载地址 http://spark.apache.org/downloads.html

  1.3.1 Release Note: http://spark.apache.org/releases/spark-release-1-3-1.html
  1.2.2 Release Note: http://spark.apache.org/releases/spark-release-1-2-2.html

本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【Spark 1.2.2和Spark 1.3.1同时发布(都是稳定版)】(https://www.iteblog.com/archives/1323.html)
喜欢 (3)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!