文章目录
隐藏
前言
最近快国庆节了,从9月份开始,中国长城防火墙(GFW)对境外网站采用大批封锁手段。阻碍了很多境外合法网站的访问。就比如说,笔者在9月中旬曾写过一篇文章:记博主的网站一次IP被墙的解决路线
由于笔者之前使用的vultr日本线路的机器被封锁的很厉害,基本是全部ping超时。后来,转移到美国西雅图、洛杉矶和纽约等机房也是同样的问题。IP被封锁的很严重。
后来笔者在写那篇文章的时候,最后是将网站转移到了vultr的德国法兰克福机房。IP在白天还不错,基本ping值在280ms左右。但是在晚上,会全部ping超时,同时网站无法访问。
本来,笔者想的是反正自己的网站暂时还没有什么人看,就姑且自己能用就行了。但笔者在百度搜索资源(之前叫:百度站长)中发现,自己网站居然连百度蜘蛛都是打不开的。严重影响网站的收录:
新站SEO黄金期
建站最开始的一个月是SEO(搜索引擎优化)的关键期,新站百度蜘蛛无法网站对网站的收录绝对是致命性的。
看下面这个图,笔者的网站从月底开始,百度蜘蛛就开始大量访问了。这时候居然抓取失败。显然很糟糕。
解决
考虑到最近IP封锁严重,笔者后来尝试了CloudCone和ftpit家的VPS,但基本都是全部被封。
最后,使用了阿里云的香港机房的机器,ping值很好看,基本在70ms左右。
敬告
新站收录的黄金期是建站之后的一个月,在这一个月中,百度蜘蛛(当然还会有其他的蜘蛛。如Google等)会频繁抓取网站页面。在此希望大家做到以下几点:
- 如果你用的是境外服务器,一定要确保在境内是可以访问的。这里大家可以通过ping来查询:http://ping.chinaz.com
- 确保网站稳定,切记不能不稳定,时而能打开,时而打不开。对蜘蛛来说,直接判定用户体验差劲,印象极差。甚至还不如全天打不开呢。
- 确保全站不要出现404,即死链接:点击某个链接报错、404、或者是直接跳转到首要。千万不要!如果你做不到,就请检查好网站没有这些问题,再允许蜘蛛抓取。(通过robots.txt实现)