Quantcast
Channel: 极限手指 » text
Browsing latest articles
Browse All 4 View Live

Image may be NSFW.
Clik here to view.

Nutch的简单使用

Nutch是一个开源的搜索引擎,包括抓取,索引,搜索,不过它主要专注于抓取,下面我讲一下它的简单使用。...

View Article


Image may be NSFW.
Clik here to view.

用tsocks代替sockscap来转发网络请求

你有没有遇到过这种情况: 某一台机器A的网速特别快, 另外一台机器B和A机器在同一个局域网内, 但是B机器的带宽有限, 由于A机器和B机器由于是在局域网内, 传输速度很快, 所以如果能把B机器的网络请求先发到A, 再由A转发出去, 这样B机器的网速可以一样很快了. 那么怎样来转发请求呢? 很显然, 用代理软件就可以做到. 但是, 我在这里给大家提供一个更简便的架设socks代理的方法,...

View Article


Image may be NSFW.
Clik here to view.

我的博客重生了

由于伟大的”最大公约数”整治网络, 关闭yo2上的所有博客, 我的博客http://ahei.yo2.cn便不能再访问了. 之后试了godaddy的免费空间, 崩溃的是, 安装完WordPress后竟然只能用ie才能正确显示后台管理界面, 其他浏览器都不能正确显示, 貌似没有成功加载css(不过水木网友告诉了我解决办法). 无奈, 再去找了些免费的空间, byethost, xtreemhost,...

View Article

Image may be NSFW.
Clik here to view.

nutch的分布式抓取

前段时间我写了一篇文章讲nutch的简单使用,是单台机器抓取,今天我讲一下nutch的分布式抓取。 由于nutch的分布式是采用hadoop,所以nutch的分布式抓取主要涉及到hadoop和nutch本身两方面的配置。 hadoop的配置 hadoop的配置主要涉及到以下几个文件: hadoop-env.sh hadoop-env.sh里面是一些hadoop脚本文件需要用到的环境变量。...

View Article
Browsing latest articles
Browse All 4 View Live