欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

最新发布 第52页

过往记忆专注于大数据技术构架及应用,微信公众号:过往记忆大数据

Kafka

在Kafka中使用Avro编码消息:Producter篇

在Kafka中使用Avro编码消息:Producter篇
本文将介绍如何在 Kafka 中使用 Avro 来序列化消息,并提供完整的 Producter 代码共大家使用。AvroAvro 是一个数据序列化的系统,它可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用,适合于远程或本地大规模数据的存储和交换。因为本文并不是专门介绍 Avro 的文章,如需要更加详细地

zz~~   7年前 (2017-09-22) 7109℃ 2评论23喜欢

Hive

Hive常用函数大全一览

Hive常用函数大全一览
关系运算1、等值比较: =语法:A=B操作类型:所有基本类型描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSE[code lang="sql"]hive> select 1 from iteblog where 1=1;1[/code]2、不等值比较: 语法: A B操作类型: 所有基本类型描述: 如果表达式A为NULL,或者表达式B为NULL,返回NULL;如果表达式A与表达式B不相等,则为TRUE;否则为

zz~~   7年前 (2017-09-14) 92972℃ 3评论179喜欢

ElasticSearch

ElasticSearch内置也将支持SQL特性

ElasticSearch内置也将支持SQL特性
告诉大家一件好消息:ElasticSearch官方正在开发SQL功能模块,也就是说未来版本(不是 6.x 就是 7.x)的Elasticsearch内置就支持SQL特性了!这样我们就不需要安装 NLPchina/elasticsearch-sql 插件。这个SQL模块是属于X-Pack的一部分。首先默认提供了一个 CLI 工具,可以很方便的执行 SQL 查询。如下图如果想及时了解Spark、Hadoop或者Hbase相关的

w397090770   7年前 (2017-09-06) 3097℃ 0评论12喜欢

ElasticSearch

ElasticSearch 6.0新特性介绍

ElasticSearch 6.0新特性介绍
2017年08月31日发布了ElasticSearch 6.0.0-beta2,其中有很多特性值得期待:稀疏性 Doc Values 的支持:大家知道 es 的 doc values 是列式存储,文档的原始值都是存放在 doc values 里面的,而稀疏性是指,一个索引里面,文档的结构其实是多样性的,但是郁闷的是只要一个文档有这个字段,其他所有的文档尽管没有这个字段,可也都要承担这个

w397090770   7年前 (2017-09-04) 9099℃ 0评论20喜欢

ElasticSearch

五分钟了解Elasticsearch

五分钟了解Elasticsearch
使用 ElasticSearch 我们可以构建一个功能完备的搜索服务器。这一切实现起来都很简单,本文将花五分钟向你介绍如何实现。安装和运行Elasticsearch这篇文章的操作环境是 Linux 或者 Mac,在安装 ElasticSearch 之前,确保你的系统上已经安装好 JDK 6 或者以上版本。[code lang="bash"]wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearc

w397090770   7年前 (2017-09-01) 3213℃ 0评论11喜欢

Kafka

Kafka消息时间戳及压缩消息对时间戳的处理

Kafka消息时间戳及压缩消息对时间戳的处理
《Apache Kafka消息格式的演变(0.7.x~0.10.x)》《图解Apache Kafka消息偏移量的演变(0.7.x~0.10.x)》《Kafka消息时间戳及压缩消息对时间戳的处理》本博客的《Apache Kafka消息格式的演变(0.7.x~0.10.x)》文章中介绍了 Kafka 各个版本的格式变化。其中 Kafka 0.10.x 消息的一大变化是引入了消息时间戳的字段。本文将介绍 Kafka 消息引入时间戳的必要性

w397090770   7年前 (2017-09-01) 7456℃ 0评论23喜欢

电子书

[电子书]Mastering Apache Storm PDF下载

[电子书]Mastering Apache Storm PDF下载
本书于2017-08由Packt Publishing出版,作者Ankit Jain, 全书341页。通过本书你将学到以下知识Understand the core concepts of Apache Storm and real-time processingFollow the steps to deploy multiple nodes of Storm ClusterCreate Trident topologies to support various message-processing semanticsMake your cluster sharing effective using Storm schedulingIntegrate Apache Storm with other Big Data technolo

zz~~   7年前 (2017-08-30) 3661℃ 4评论15喜欢

Kafka

KSQL介绍:面向Apache Kafka的开源Streaming SQL引擎

KSQL介绍:面向Apache Kafka的开源Streaming SQL引擎
我非常高兴地宣布KSQL,这是面向Apache Kafka的一种数据流SQL引擎。KSQL降低了数据流处理这个领域的准入门槛,为使用Kafka处理数据提供了一种简单的、完全交互的SQL界面。你不再需要用Java或Python之类的编程语言编写代码了!KSQL具有这些特点:开源(采用Apache 2.0许可证)、分布式、可扩展、可靠、实时。它支持众多功能强大的数据流

w397090770   7年前 (2017-08-30) 7865℃ 0评论22喜欢

机器学习

[电子书]Machine Learning Algorithms PDF下载

[电子书]Machine Learning Algorithms PDF下载
本书于2017-07由Packt Publishing出版,作者Giuseppe Bonaccorso,全书580页。关注大数据猿(bigdata_ai)公众号及时获取最新大数据相关电子书、资讯等通过本书你将学到以下知识Acquaint yourself with important elements of Machine LearningUnderstand the feature selection and feature engineering processAssess performance and error trade-offs for Linear RegressionBuild a data model

zz~~   7年前 (2017-08-27) 4601℃ 0评论14喜欢

资料分享

如何获取Chrome插件的下载地址

如何获取Chrome插件的下载地址
使用过 Chrome 浏览器的用户都应该安装过插件,但是我们从 Google 的应用商店下载插件是无法直接获取到下载地址的。不过我们总是有些需求需要获取到这些插件的地址,比如朋友想安装某个插件,但是因为某些原因无法访问 Google 应用商店,而我可以访问,这时候我们就想如果能获取到插件的下载地址,直接下载好然后发送给朋友

w397090770   7年前 (2017-08-23) 4309℃ 0评论10喜欢