爬虫练习:获取某招聘网站Python岗位信息

发布时间:2026-10-31 20:03:18 浏览次数:1

一、相关网站

二、相关代码

import requestsfrom lxml import etreeimport csvwith open('拉钩Python岗位数据.csv', 'w', newline='', encoding='utf-8') as csvfile:    fieldnames = ['公司', '规模','岗位','地区','薪资','经验要求']    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)    writer.writeheader()    for page in range(1,31):        # url = 'https://www.lagou.com/wn/zhaopin?fromSearch=true&kd=python&city=%E5%85%A8%E5%9B%BD'        url = f'https://www.lagou.com/wn/zhaopin?fromSearch=true&kd=python&pn={page}'        headers = {            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'        }        data = {            'fromSearch':'true',            'kd':'python',            'city':'全国'        }        response = requests.post(url=url,data=data,headers=headers)        # print(response.text)        result = etree.HTML(response.text)        company = result.xpath('//p[@]/a/text()')        scale = result.xpath('//p[@]/text()')        post = result.xpath('//p[@]/a/text()[1]')        location = result.xpath('//p[@]/a/text()[2]')        salt = result.xpath('//p[@]/span/text()')        suffer = result.xpath('//p[@]/text()[1]')        # print(company,scale,post,location,salt,suffer)        for com, sca, pos, loc, sal,suf in zip(company, scale, post, location, salt,suffer):            print(f'{com} ====== {sca} ====== {pos} ====== {loc} ===== {sal} ===== {suf}')            writer.writerow({'公司': com, '规模': sca, '岗位': pos, '地区': loc, '薪资': sal,'经验要求':suf})

三、获取的结果

���权声明和免责声明

本博客提供的所有爬虫代码和相关内容(以下简称“内容”)仅供参考和学习之用。任何使用或依赖这些内容的风险均由使用者自行承担。我(博客所有者)不对因使用这些内容而产生的任何直接或间接损失承担责任。

严禁将本博客提供的爬虫代码用于任何违法、不道德或侵犯第三方权益的活动。使用者应当遵守所有适用的法律法规,包括但不限于数据保**、隐私权法和知识产权法。

如果您选择使用本博客的爬虫代码,您应当确保您的使用行为符合所有相关法律法规,并且不会损害任何人的合法权益。在任何情况下,我(博客所有者)均不对您的行为负责。

如果您对本声明有任何疑问,或者需要进一步的澄清,请通过我的联系方式与我联系。

需要做网站?需要网络推广?欢迎咨询客户经理 13272073477