Shanghai Apache Spark Meetup第九次聚会将在6月18日下午13:00-17:00由Intel联手饿了么在上海市普陀区金沙江路1518弄2号近铁城市广场饿了么公司5楼会议室(榴莲酥+螺狮粉)举行。欢迎大家前来参加!
会议主题
开场/Opening Keynote: 毕洪宇,饿了么数据运营部副总监
毕洪宇个人介绍:饿了么数据运营部副总监。本科和研究生都是同济大学。2016年加入饿了么,负责饿了么数据平台和应用;对大数据底层框架Hadoop,HBase,Spark等技术以及数据应用相关的技术略有研究。
演讲者1: 史鸣飞, 英特尔大数据工程师
演讲主题: Spinach: 构建于Spark之上的即席查询引擎
演讲简介:Spinach是一个完全兼容SparkSQL的即席查询服务,它实现了对表上的数据进行索引,并通过在SparkSQL中加入一些DSL的hint进行控制,同时它也实现了一个进程内的Cache管理策略,将数据缓存在堆内/堆外内存中,以加块数据访问。在本次演讲中,我们会对Spinach的设计思想进行介绍,并展示一些初始的测试数据。
史鸣飞,来自英特尔大数据技术团队,专注于Spark相关项目的开发和应用,Spark 代码贡献者,Alluxio项目核心Committer
演讲者2: 史栋杰, 英特尔大数据工程师
演讲主题: 基于Docker容器的大数据系统管理实践
演讲简介: 基于Docker容器来进行大数据应用的部署和管理及相关Docker image开发的实践经验。
史栋杰,Intel大数据技术部门软件工程师,
演讲者3: 毕洪宇,饿了么数据运营部副总监
演讲主题:百万吞吐下网站实时QoS监控实践
演讲简介:互联网时代,我们经常会面对成千上万台网站应用服务器,如何能够及时的把握整个网站的QoS在大规模服务器和大流量下成为新的挑战;本topic主要分享作者在有限计算及存储资源的情况下,如何处理接入上千台服务器的访问日志,峰值流量接近两百万每秒以上并保证计算高可用的一次实践经验
演讲者4: 张家劲,华为2012实验室诺亚方舟实验室预研工程师
演讲主题:在线学习的流式分析算法引擎 ~StreamDM
演讲简介:大数据分析按照模型是否在线学习可以分为离线学习(Offline Learning))和在线学习(Online Learning)两大方式,对应的数据处理模式分别为批处理(Batch Mode)分析和流处理(Streaming)分析。当前,MLlib中的大部分算法都是基于Batch处理的算法。StreamDM是一个基于Spark Streaming 、支持在线学习的流分析算法引擎,实现了主流的基于在线流式处理的分类、聚类和bagging等算法。本次分享将介绍StreamDM的流程框架、API和现有的算法,并通过具体的例子介绍如何使用StreamDM。更多的信息请参考StreamDM在Github上的网址:https://github.com/huawei-noah/streamDM/
张家劲: 毕业于四川大学,2007年加入华为,是华为2012实验室诺亚方舟实验室预研工程师,主要工作职责是机器学习、数据挖掘和流处理系统,并长期关注大数据领域和分布式计算,并向Spark的MLlib贡献算法代码,参与StreamDM开源社区建设。
日程表
12:30 - 13:00 签到/Sign in
13:00 - 13:10 开场白/Opening (毕洪宇:饿了么数据运营部副总监)
13:10 - 13:50 Spinach: 构建于Spark之上的即席查询引擎(史鸣飞,英特尔大数据工程师)
13:50 - 14:30 基于Docker容器的大数据系统管理实践(史栋杰,英特尔大数据工程师)
14:30 - 14:50 茶歇/Tea break
14:50 - 15:30 百万吞吐下网站实时QoS监控实践(毕洪宇,饿了么数据运营部副总监)
15:30 - 16:10 在线学习的流式分析算法引擎 ~StreamDM(张家劲,华为2012实验室诺亚方舟实验室预研工程师,)
16:10 - 16:40 交流时间/Networking time
地图与交通信息
上海市普陀区金沙江路1518弄2号近铁城市广场饿了么公司5楼会议室(榴莲酥+螺狮粉)
报名地址
本博客文章除特别声明,全部都是原创!原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【上海Spark Meetup第九次聚会】(https://www.iteblog.com/archives/1688.html)