我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，最近发现nginx日志中出现了...

作为站长，基本都遇到过网站被人镜像的烦恼吧？最典型的代表就是谷歌搜索，大家都懂的。很多时候反代我们网站的人可能就是拿你的网站练下手，学习下反向代理。当遇到网站被反代，而且排名还比你好的时候，有没有要暴...