python爬虫爬取中国天气网各城市天气

项目简介

爬取中国天气网的天气信息:http://www.weather.com.cn/textFC/hb.shtml

其中,中国天气网将全国分为华北、东北、华东、华中、华南、西北、西南和港澳台八个大区。网址分别如下:

http://www.weather.com.cn/textFC/hb.shtml

http://www.weather.com.cn/textFC/db.shtml

http://www.weather.com.cn/textFC/hd.shtml

http://www.weather.com.cn/textFC/hz.shtml

http://www.weather.com.cn/textFC/hn.shtml

http://www.weather.com.cn/textFC/xb.shtml

http://www.weather.com.cn/textFC/xn.shtml

http://www.weather.com.cn/textFC/gat.shtml

我们需要获取各个城市的天气基本信息。

 

项目思路

首先我们发现每个大区的地址是很有规律的,并且很少,我们不需要通过爬虫获取(像以前获取分页那样),只需要把他们放入数组中,用函数获取即可。

省份table分析

然后分析其中一个大区,我们以华北为例,发现每个省份都是单独的一个table表格: