文章目录 隐藏

前言

最近快国庆节了，从9月份开始，中国长城防火墙（GFW）对境外网站采用大批封锁手段。阻碍了很多境外合法网站的访问。就比如说，笔者在9月中旬曾写过一篇文章：记博主的网站一次IP被墙的解决路线

由于笔者之前使用的vultr日本线路的机器被封锁的很厉害，基本是全部ping超时。后来，转移到美国西雅图、洛杉矶和纽约等机房也是同样的问题。IP被封锁的很严重。

后来笔者在写那篇文章的时候，最后是将网站转移到了vultr的德国法兰克福机房。IP在白天还不错，基本ping值在280ms左右。但是在晚上，会全部ping超时，同时网站无法访问。

本来，笔者想的是反正自己的网站暂时还没有什么人看，就姑且自己能用就行了。但笔者在百度搜索资源（之前叫：百度站长）中发现，自己网站居然连百度蜘蛛都是打不开的。严重影响网站的收录：

新站SEO黄金期

建站最开始的一个月是SEO（搜索引擎优化）的关键期，新站百度蜘蛛无法网站对网站的收录绝对是致命性的。

看下面这个图，笔者的网站从月底开始，百度蜘蛛就开始大量访问了。这时候居然抓取失败。显然很糟糕。

考虑到最近IP封锁严重，笔者后来尝试了CloudCone和ftpit家的VPS，但基本都是全部被封。

最后，使用了阿里云的香港机房的机器，ping值很好看，基本在70ms左右。

新站收录的黄金期是建站之后的一个月，在这一个月中，百度蜘蛛（当然还会有其他的蜘蛛。如Google等）会频繁抓取网站页面。在此希望大家做到以下几点：

如果你用的是境外服务器，一定要确保在境内是可以访问的。这里大家可以通过ping来查询：http://ping.chinaz.com
确保网站稳定，切记不能不稳定，时而能打开，时而打不开。对蜘蛛来说，直接判定用户体验差劲，印象极差。甚至还不如全天打不开呢。
确保全站不要出现404，即死链接：点击某个链接报错、404、或者是直接跳转到首要。千万不要！如果你做不到，就请检查好网站没有这些问题，再允许蜘蛛抓取。（通过robots.txt实现）