欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

w397090770的文章

C#

Scala的Option monad和C#的null-conditional操作符比较

Scala的Option monad和C#的null-conditional操作符比较
  这篇文章中将介绍C# 6.0的一个新特性,这将加深我们对Scala monad的理解。Null-conditional操作符  假如我们有一个嵌套的数据类型,然后我们需要访问这个嵌套类型里面的某个属性。比如Article可以没有作者(Author)信息;Author可以没有Address信息;Address可以没有City信息,如下:[code lang="csharp"]////////////////////////////////////

  9年前 (2016-02-24) 2149℃ 0评论6喜欢

Arrow

Apache Arrow:内存列式的数据结构标准

Apache Arrow:内存列式的数据结构标准
  Apache Arrow项目为列式内存存储的处理和交互提供了规范。目前来自Apache Hadoop社区的开发者们致力于将它制定为大数据系统项目的事实性标准。  Apache Arrow主要有以下几点的优势:  1、列式的内存布局可以使得随机访问的速度达到O(1)。这种内存布局在处理分析流和允许SIMD(Single input multiple data) 优化的现代处理器上非常

  9年前 (2016-02-22) 6298℃ 0评论6喜欢

常用工具

21 个你应该知道的 wget 命令

21 个你应该知道的 wget 命令
如何下载整个网站用来离线浏览?怎样将一个网站上的所有 MP3 文件保存到本地的一个目录中?怎么才能将需要登陆的网页后面的文件下载下来?怎样构建一个迷你版的Google?wget 是一个自由的工具,可在包括 Mac,Window 和 Linux 在内的多个平台上使用,它可帮助你实现所有上述任务,而且还有更多的功能。与大多数下载管理器不同

  9年前 (2016-02-19) 1791℃ 0评论1喜欢

Kafka

Apache Kafka编程入门指南:设置分区数和复制因子

Apache Kafka编程入门指南:设置分区数和复制因子
  《Apache Kafka编程入门指南:Producer篇》  《Apache Kafka编程入门指南:设置分区数和复制因子》  Apache Kafka编程入门指南:Consumer篇  在前面的例子(《Apache Kafka编程入门指南:Producer篇》)中,我们学习了如何编写简单的Kafka Producer程序。在那个例子中,在如果需要发送的topic不存在,Producer将会创建它。我们都知

  9年前 (2016-02-06) 7600℃ 0评论6喜欢

Kafka

Apache Kafka编程入门指南:Producer篇

Apache Kafka编程入门指南:Producer篇
  《Apache Kafka编程入门指南:Producer篇》  《Apache Kafka编程入门指南:设置分区数和复制因子》  Apache Kafka编程入门指南:Consumer篇  Kafka最初由Linkedin公司开发的分布式、分区的、多副本的、多订阅者的消息系统。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存

  9年前 (2016-02-05) 10272℃ 1评论12喜欢

Spark

Apache Zeppelin使用入门指南:添加外部依赖

Apache Zeppelin使用入门指南:添加外部依赖
Apache Zeppelin使用入门指南:安装Apache Zeppelin使用入门指南:编程Apache Zeppelin使用入门指南:添加外部依赖  在前面的两篇文章中我们介绍了如何编译和部署Apache Zeppelin、如何使用Apache Zeppelin。这篇文章中将介绍如何将外部依赖库加入到Apache Zeppelin中。  在现实情况下,我们编写程序一般都是需要依赖外部的相关类库

  9年前 (2016-02-04) 8171℃ 0评论7喜欢

Spark

Apache Zeppelin使用入门指南:编程

Apache Zeppelin使用入门指南:编程
Apache Zeppelin使用入门指南:安装Apache Zeppelin使用入门指南:编程Apache Zeppelin使用入门指南:添加外部依赖使用Apache Zeppelin  编译和启动完Zeppelin相关的进程之后,我们就可以来使用Zeppelin了。我们进入到https://www.iteblog.com:8080页面,我们可以在页面上直接操作Zeppelin,依次选择Notebook->Create new note,然后会弹出一个对话框

  9年前 (2016-02-03) 25309℃ 2评论31喜欢

Spark

Apache Zeppelin使用入门指南:安装

Apache Zeppelin使用入门指南:安装
Apache Zeppelin使用入门指南:安装Apache Zeppelin使用入门指南:编程Apache Zeppelin使用入门指南:添加外部依赖  Apache Zeppelin是一款基于web的notebook(类似于ipython的notebook),支持交互式地数据分析。原生就支持Spark、Scala、SQL 、shell, markdown等。而且它是完全开源的,目前还处于Apache孵化阶段。本文所有的操作都是基于Apache Zeppelin

  9年前 (2016-02-02) 20728℃ 9评论20喜欢

Spark meetup

上海第七次Spark meetup会议资料分享

上海第七次Spark meetup会议资料分享
  上海Spark meetup第七次聚会将于2016年1月23日(周六)在上海市长宁区金钟路968号凌空SOHO 8号楼 进行。此次聚会由Intel联合携程举办。大会主题  1、开场/Opening Keynote: 张翼,携程大数据平台的负责人  个人介绍:本科和研究生都是浙江大学;2015年加入携程,推动携程大数据平台的演进;对大数据底层框架Hadoop,HIVE,Spark

  9年前 (2016-01-28) 2589℃ 0评论6喜欢

Spark

在Yarn上运行Apache Zeppelin & Spark

在Yarn上运行Apache Zeppelin & Spark
  默认情况下,Apache Zeppelin启动Spark是以本地模式起的,master的值是local[*],我们可以通过修改conf/zeppelin-env.sh文件里面的MASTER的值如下:[code lang="bash"]export MASTER= yarn-clientexport HADOOP_HOME=/home/q/hadoop/hadoop-2.2.0export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/[/code]然后启动Zeppelin,但是我们有时会发现日志出现了以下的异常信息:ERRO

  9年前 (2016-01-22) 12106℃ 16评论12喜欢