欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

2014年11月的内容

wordpress开发

WordPress:自定义各个类别每页显示文章数

WordPress:自定义各个类别每页显示文章数
  在Wordpress后台的设置->阅读->博客页面至多显示里面可以设置每页最多显示的文章数目,但是那个设置只能将所有的类别(首页、分类目录页、标签页、作者页)显示的文章数都设置成一个值。  但是在开发Wordpress主题的时候,有些需求需要修改不同类别的每页显示的文章数。比如首页显示10篇;分类页显示20篇;标签页显示3

w397090770   10年前 (2014-11-30) 6301℃ 0评论7喜欢

Spark

Spark 1.1.1发布

Spark 1.1.1发布
  Spark 1.1.1于美国时间的2014年11月26日正式发布。基于branch-1.1分支,主要修复了一些bug。推荐所有的1.1.0用户更新到这个稳定版本。本次更新共有55位开发者参与。  spark.shuffle.manager仍然使用Hash作为默认值,说明了SORT的Shuffle还不怎么成熟。等待1.2版本吧。Fixes  Spark 1.1.1修复了几个组件的bug。在下面将会列出一些代表性的b

w397090770   10年前 (2014-11-28) 3342℃ 0评论5喜欢

Hadoop

Apache Hadoop 2.5.2发布:YARN新增部分功能

Apache Hadoop 2.5.2发布:YARN新增部分功能
  Apache Hadoop 2.5.2于2014年11月19日发布,该版本是2.5.x的分支,主要修复了2.5.0之后的一些关键bug: HADOOP-11243. SSLFactory shouldn't allow SSLv3. (Wei Yan via kasha) HADOOP-11260. Patch up Jetty to disable SSLv3. (Mike Yoder via kasha) HADOOP-11307. create-release script should run git clean first. (kasha)  下面是2.5.2中功能提升的简单概述:Common  1、 HTTP

w397090770   10年前 (2014-11-24) 5432℃ 1评论5喜欢

wordpress开发

网站设计:将Footer固定在浏览器底部

网站设计:将Footer固定在浏览器底部
  在设计网站的时候,如果你某个页面的内容没有满屏,那你的footer会离浏览器底部很远,整体看起来很难看,这里用JavaScript提供一种方法来将footer固定在浏览器底部。[code lang="javascript"]function fixFooter(){ var mainHeight = document.getElementById('main').offsetHeight; var height = document.documentElement.clientHeight - document.g

w397090770   10年前 (2014-11-22) 7605℃ 0评论4喜欢

常用工具

Ubuntu安装依赖文件

Ubuntu安装依赖文件
  我们在安装软件的时候,有时会出现由于依赖的软件没有被安装,会导致软件安装的失败,其实我们可以用命令来安装依赖的软件,这里以Ubuntu为例进行说明。  我在安装wps-office的时候,显示安装成功了,但是还是无法运行,后来才知道原来有些依赖的软件没有安装,导致wps无法运行。我们可以用户下面的命令查看依赖的

w397090770   10年前 (2014-11-21) 7151℃ 0评论2喜欢

网站建设

搜索引擎频繁抓取导致网站挂掉

搜索引擎频繁抓取导致网站挂掉
  从上周开始,我博客就经常出现了Bad Request (Invalid Hostname)错误,询问网站服务器商只得知网站的并发过高,从而被服务器商限制网站访问。可是我天天都会去看网站的流量统计,没有一点异常,怎么可能会并发过高?后来我查看了一下网站的搜索引擎抓取网站的日志,发现每分钟都有大量的页面被搜索引擎抓取!难怪网站的并

w397090770   10年前 (2014-11-14) 3215℃ 0评论6喜欢

网站建设

本博客最近经常出现无法访问情况说明

本博客最近经常出现无法访问情况说明
  首先非常感谢大家访问支持本博客,但是由于这些天访问人数的增加导致同一时刻访问本博客的人也增加,从而超过本博客服务器限制的并发数(100),这样使得本博客经常出现以下信息Bad Request (Invalid Hostname)  由于资金有限,所以选择了价格比较便宜的服务器,所以无法保证本博客100%在线。所以如果博客出现了Bad Requ

w397090770   10年前 (2014-11-13) 3767℃ 3评论3喜欢

Hadoop

Spark和Hadoop作业之间的区别

Spark和Hadoop作业之间的区别
  Spark目前被越来越多的企业使用,和Hadoop一样,Spark也是以作业的形式向集群提交任务,那么在内部实现Spark和Hadoop作业模型都一样吗?答案是不对的。  熟悉Hadoop的人应该都知道,用户先编写好一个程序,我们称为Mapreduce程序,一个Mapreduce程序就是一个Job,而一个Job里面可以有一个或多个Task,Task又可以区分为Map Task和Reduce T

w397090770   10年前 (2014-11-11) 21155℃ 1评论34喜欢

Hadoop

Spark优化:禁止应用程序将依赖的Jar包传到HDFS

Spark优化:禁止应用程序将依赖的Jar包传到HDFS
  每次当你在Yarn上以Cluster模式提交Spark应用程序的时候,通过日志我们总可以看到下面的信息:[code lang="java"]21 Oct 2014 14:23:22,006 INFO [main] (org.apache.spark.Logging$class.logInfo:59) - Uploading file:/home/spark-1.1.0-bin-2.2.0/lib/spark-assembly-1.1.0-hadoop2.2.0.jar to hdfs://my/user/iteblog/...../spark-assembly-1.1.0-hadoop2.2.0.jar21 Oct 2014 14:23:23,465 INFO [main] (org.ap

w397090770   10年前 (2014-11-10) 10937℃ 2评论12喜欢

wordpress开发

WordPress获取文章附件(多媒体)

WordPress获取文章附件(多媒体)
  在Wordpress后台里面有个选项是 多媒体->媒体库 里面显示的是所有文章的附件,包括了图片、视频、文件等。我们在开发Wordpress的时候,有时候需要列出文章中相应的附件,可以通过下面的方式来解决:[code lang="php"]$args = array(  'caller_get_posts' => 1,  'paged' => $paged);query_posts($args);if ( have_posts() ) : while ( have_posts

w397090770   10年前 (2014-11-10) 6652℃ 1评论6喜欢