世界上大多数事物的发展规律是相似的，在最开始往往都会出现相对通用的方案解决绝大多数的问题，随后会出现为某一场景专门设计的解决方案，这些解决方案不能解决通用的问题，但是在某些具体的领域会有极其出色的表现。而在计算领域中，CPU（Central Processing Unit）和 GPU（Graphics Processing Unit）分别是通用的和特定的方案，前 3年前 (2021-09-24) 171℃ 0评论3喜欢
基于Kubefed的多集群管理实践多集群场景主要分以下几个方面：1）高可用低延时：应用部署到不同的集群去做高可用2）容灾备份：特别是针对于数据库这类的应用 在a集群对外提供服务的同时给b集群做一次备份 这样在发生故障的时候 可以无缝的迁移到另一个集群去3）业务隔离：尽管kubernetes提供了ns级别的隔离， 3年前 (2021-09-24) 265℃ 0评论0喜欢
最近发现离线任务对一个增量Hive表的查询越来越慢，这引起了我的注意，我在cmd窗口手动执行count操作查询发现，速度确实很慢，才不到五千万的数据，居然需要300s，这显然是有问题的，我推测可能是有小文件。我去hdfs目录查看了一下该目录：发现确实有很多小文件，有480个小文件，我觉得我找到了问题所在，那么合并一 3年前 (2021-08-20) 1244℃ 0评论4喜欢
作者：小君，部门：技术中台/数据中台前言随着实时技术的不断发展和商家实时应用场景的不断丰富，有赞在实时数仓建设方面做了大量的尝试和实践。本文主要分享有赞在建设实时数仓过程中所沉淀的经验，内容包括以下五个部分： 建设背景 应用场景 方案设计 项目应用 未来展望建设背景 实时需求日趋迫 4年前 (2021-06-10) 385℃ 0评论0喜欢
本文来自于王新春在2018年7月29日 Flink China社区线下 Meetup·上海站的分享。王新春目前在唯品会负责实时平台相关内容，主要包括实时计算框架和提供实时基础数据，以及机器学习平台的工作。之前在美团点评，也是负责大数据平台工作。他已经在大数据实时处理方向积累了丰富的工作经验。。本文主要内容如下：唯品会实时 6年前 (2018-08-15) 7257℃ 0评论14喜欢
本文来自7月26日在上海举行的 Flink Meetup 会议，分享来自于刘康，目前在大数据平台部从事模型生命周期相关平台开发，现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算，在模型部署及运维方面有丰富实战经验和深入的理解，对模型的算法及训练有一定的了解。本文主要内容如下：在公司实时特征开发的现 6年前 (2018-08-14) 7400℃ 0评论3喜欢
Flink China社区线下 Meetup·北京站会议于 2018年8月11日 在朝阳区酒仙桥北路恒通国际创新园进行。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop活动议程13:40-13:50 莫问 出品人开场发言13:50-14:30 Flink Committer星罡《Flink状态管理和恢复技术介绍》，详细请见这里14:30-15:10 滴滴 余海琳《Flink在 6年前 (2018-08-14) 2963℃ 0评论4喜欢
第十四次Shanghai Apache Spark Meetup聚会，由中国平安银行大力支持。活动将于2017年12月23日12:30~17:00在上海浦东新区上海海神诺富特酒店三楼麦哲伦厅举行。举办地点交通方便，靠近地铁4号线浦东大道站。座位有限，先到先得。大会主题《Spark在金融领域的算法实践》(13:20 – 14:05)演讲嘉宾：潘鹏举,平安银行大数据平台架构师 7年前 (2017-12-06) 2044℃ 0评论11喜欢
本书于2017-08由 Packt 出版，作者 Manish Kumar, Chanchal Singh，全书269页。关注大数据猿(bigdata_ai)公众号及时获取最新大数据相关电子书、资讯等通过本书你将学到以下知识Learn the basics of Apache Kafka from scratchUse the basic building blocks of a streaming applicationDesign effective streaming applications with Kafka using Spark, Storm &, and HeronUnderstand the i 7年前 (2017-11-08) 6667℃ 0评论31喜欢
这次整理的PPT来自于2017年09月11日至13日在 Berlin 进行的 Flink forward 会议，这种性质的会议和大家熟知的 Spark summit 类似。本次会议的官方日程参见：https://berlin-2017.flink-forward.org/kb_day/day-1/。因为原始的PPT是在 http://www.slideshare.net/ 网站，这个网站需要翻墙；为了学习交流的方便，这里收集了本次会议所有课下载的PPT（共45个），希望对 7年前 (2017-10-18) 2726℃ 0评论18喜欢
![[电子书]Building Data Streaming Applications with Apache Kafka PDF下载](https://s.iteblog.com/pic/books/building-data-streaming-applications-apache-kafka-iteblog.png)
