今天在项目中用到了Scala正则表达式，网上找了好久也没找到很全的资料，这里收集了Scala中很多常用的正则表达式使用方法。关于Scala正则表达式替换请参见：《Scala正则表达式替换》如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop[code lang="scala"]scala> val regex="""([0-9]+) ([a-z]+)& w397090770 10年前 (2015-01-04) 24912℃ 0评论27喜欢
默认情况下，nginx将每天网站访问的日志都写在一个文件里面，随着时间的推移，这个文件势必越来越大，最终成为问题。不过我们可以写个脚本来自动地按天(或者小时)切割日志，并压缩(节约磁盘空间)。 脚本的内容如下：[code lang="bash"]#!/bin/bash logspath="/alidata/log/Nginx/access/"yesterday=`date -d '-1 day' +%Y%m%d`mv ${lo w397090770 10年前 (2015-01-02) 15927℃ 0评论10喜欢
今天我想开通博客的二级域名(http://download.iteblog.com/)，然后在nginx配置文件里面配置好了。那个域名可以正常访问，但是如果用户输入了http://bbs.iteblog.com/这个也当作一个二级页面进行处理，但是我博客没有bbs这个二级域名，所以会导致访问失败，我想把除了http://download.iteblog.com/二级之外的其他二级域名都重定向到/中去，于是 w397090770 10年前 (2015-01-01) 21058℃ 0评论2喜欢
这种方法的自由度较高，并且可以创建非WordPress格式的URL，非常有用。比如我们要把 /test 转交给主题文件夹下的 /custom/test.php 来处理，就可以用这种方式来处理。这种方法用到 template redirect 钩子，template redirect 是 WordPress 在预处理好所有参数设置之后决定调用主题模板的时候调用的。 我们只需在主题的 function.php 文件的 w397090770 10年前 (2014-12-31) 3881℃ 2评论4喜欢
下面的操作会影响到Spark输出RDD分区（partitioner）的： cogroup, groupWith, join, leftOuterJoin, rightOuterJoin, groupByKey, reduceByKey, combineByKey, partitionBy, sort, mapValues (如果父RDD存在partitioner), flatMapValues(如果父RDD存在partitioner), 和 filter (如果父RDD存在partitioner)。其他的transform操作不会影响到输出RDD的partitioner，一般来说是None，也就是没 w397090770 10年前 (2014-12-29) 16585℃ 0评论5喜欢
大家在查看分析网站访问日志的时候，很可能发现自己网站里面的很多图片被外部网站引用，这样给我们自己的博客带来了最少两点的不好： （1）、如果别的网站引用我们网站图片的次数非常多的话，会给咱们网站服务器带来很大的负载压力； （2）、被其他网站引用图片会消耗我们网站的流量，如果我们的网站服 w397090770 10年前 (2014-12-27) 5488℃ 0评论3喜欢
在很多应用场景都需要对结果数据进行排序，Spark中有时也不例外。在Spark中存在两种对RDD进行排序的函数，分别是 sortBy和sortByKey函数。sortBy是对标准的RDD进行排序，它是从Spark 0.9.0之后才引入的（可以参见SPARK-1063）。而sortByKey函数是对PairRDD进行排序，也就是有Key和Value的RDD。下面将分别对这两个函数的实现以及使用进行说明。 w397090770 10年前 (2014-12-26) 83965℃ 7评论91喜欢
谁说网站首次备案一定要关站？特别是网站运行了一段时间，搜索引擎等已经收录了网站内容，这时候如果关站一段时间（备案期间最长需要20个工作日，也就是一个月时间）会对网站产生很大的影响，比如网站被搜索引擎加黑，权重变低。这样的影响我们肯定不想要。 今天我想告诉大家的是其实在备案期间我们网站是可 w397090770 10年前 (2014-12-24) 4380℃ 3评论5喜欢
Akka学习笔记系列文章： 《Akka学习笔记：ACTORS介绍》 《Akka学习笔记：Actor消息传递(1)》 《Akka学习笔记：Actor消息传递(2)》 《Akka学习笔记：日志》 《Akka学习笔记：测试Actors》 《Akka学习笔记：Actor消息处理-请求和响应(1) 》 《Akka学习笔记：Actor消息处理-请求和响应(2) 》 《Akka学 w397090770 10年前 (2014-12-22) 5677℃ 0评论8喜欢
Spark 1.2.0于美国时间2014年12月18日发布，Spark 1.2.0兼容Spark 1.0.0和1.1.0，也就是说不需要修改代码即可用，很多默认的配置在Spark 1.2发生了变化 1、spark.shuffle.blockTransferService由nio改成netty 2、spark.shuffle.manager由hash改成sort 3、在PySpark中，默认的batch size改成0了， 4、Spark SQL方面做的修改： spark.sql.parquet.c w397090770 10年前 (2014-12-19) 4611℃ 1评论2喜欢
