Python智联招聘职位爬虫
智联招聘的职位数据，挺适合练手爬虫的。这个脚本专门爬Python相关岗位，支持分页、加代理、还能把结果存成表格，拿来做也方便。你要是正好在学爬虫、想看看某城市的岗位趋势，挺有用。
分页功能写得比较稳，翻页逻辑没绕弯子，直接根据page参数搞定。代理部分也加上了，避免 IP 被封的烦事，像那种几百页的爬，代理就挺关键的。
结果是转成.xls文件保存的，用的是xlwt，你也可以换成pandas.to_excel()更灵活点。表头字段清晰，直接导入工具也没问题，像职位名称、公司、薪资这些都有。
相关的参考文章我也找了一些，像Python2.7 爬取智联招聘并保存至 Excel这种入门不错，另外Python 爬虫随机头代理这篇讲代理配置也挺实用。
哦对，爬智联的时候注意下求头要加全，不然有时候 403。还有就是别跑得太快，延迟一下，网站敏感度还是蛮高的。如果你正准备做职业、或者就是练练数据的能力，完全可以拿这个做个小项目。
文件大小：3.93KB
评论区