Python_简单网络爬虫获取网页数据

写了一个简单的网络爬虫,用于获取智联招聘上一线及新一线城市所有与BIM相关的工作信息以便做一些数据分析。

首先通过chrome在智联招聘上搜索BIM的职位,跳出页面后ctrl+u查看网页源代码,然而并没有找到当前页面的职位信息。然后快捷键F12打开开发者工具窗口,刷新页面,通过关键字过滤文件,找到一个包含职位的数据包。

Python_简单网络爬虫获取网页数据

查看这个文件的请求URL,分析其构造发现数据包的请求URL由
‘https://fe-api.zhaopin.com/c/i/sou?’+请求参数组成,那么根据格式构造了一个新的url(
‘https://fe-api.zhaopin.com/c/i/sou?pageSize=60&cityId=763&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=造价员&kt=3’)复制到浏览器进行访问测试,成功获得相应数据。

Python_简单网络爬虫获取网页数据
取得的为json格式数据,先将数据格式化,分析构造,确定代码中数据的解析方法。
Python_简单网络爬虫获取网页数据

请求URL及数据结构都清楚后,剩下的就是在代码中实现URL的构造、数据解析及导出。最后获得1215个数据,还需进一步对数据进行整理,以便进行数据分析。

Python_简单网络爬虫获取网页数据

代码:

Python_简单网络爬虫获取网页数据
Python_简单网络爬虫获取网页数据
Python_简单网络爬虫获取网页数据
Python_简单网络爬虫获取网页数据

原创文章,作者:Zhu, Yuanyuan,如若转载,请注明出处:https://www.yidc.net/archives/18389