㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐ (基础入门篇)福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项Mandatory Compliance4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层Fetcher—— 给自己加上一层伪装7️⃣ 核心实现解析层Parser—— 在混沌中寻找规则8️⃣ 数据存储与导出Storage—— 让劳动成果落袋为安9️⃣ 运行方式与结果展示必写 常见问题与排错强烈建议写1️⃣1️⃣ 进阶优化可视化生成1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface一句话说明本文将使用 Python 的requests和BeautifulSoup4工具从志愿服务公益网站抓取“岗位类别说明”规则文本并将其转化为结构化的关系型数据最终产出 CSV 文件与 SQLite 数据库。读完能获得什么掌握将“非标准段落文本”通过**正则表达式Regex**提取为精准字段的核心技巧。学会构建一套包含请求重试、异常处理、数据清洗的完整且稳健的微型爬虫脚手架。获得一份干净、可直接用于公益平台匹配算法的底层元数据字典。1️⃣ 摘要Abstract志愿服务说明页通常由大段的富文本组成缺乏统一的 API 接口。本文针对这一痛点设计了一套基于静态 HTML 解析的自动化抽取方案。通过锁定特定 DOM 节点辅以文本模式识别精准提取出岗位类别、服务对象、服务场景及说明等核心要素。该方案极度适合新手作为“文本结构化”的入门基石。2️⃣ 背景与需求Why为什么要爬取志愿岗位规则在搭建公益服务平台或进行志愿资源调度时最大的痛点就是“供需不匹配”。如果能将长篇大论的岗位说明书拆解为清晰的标签如服务对象是“孤寡老人”场景是“社区活动室”就能极大地提升志愿者的报名转化率与平台分发效率。目标字段清单Field Schema字段名 (Field)含义 (Meaning)示例值 (Example)post_category岗位类别敬老助老 / 赛会展会 / 环保绿化target_audience服务对象社区独居老人、残障人士service_scenario服务场景社区日间照料中心、户外广场description岗位说明协助工作人员维持秩序提供基础陪伴…3️⃣ 合规与注意事项Mandatory Compliance在我们用技术传递爱心的同时也要做一名守规矩的极客遵循 robots.txt公益网站通常对爬虫比较宽容但我们依然要检查其爬虫协议不访问后台接口。温和的频率控制我们不攻击、不并发设置合理的time.sleep()以普通人类浏览的速度进行抓取保护公益网站的服务器资源。不采集个人隐私本次实战仅针对**“岗位规则与分类说明”**这种公开的基础元数据绝对不涉及任何志愿者或受助人的敏感个人信息中立、合法、合规。4️⃣ 技术选型与整体流程What/How技术路线静态 HTML 抓取。因为志愿服务说明通常是写死的 CMS 文章页不需要处理复杂的 JavaScript 动态渲染。为什么选requests bs4对于新手来说这套组合直观、轻量、学习曲线极其平滑。正则表达式re则是我们从段落中“抠”出目标字段的终极武器。流程图 (System Architecture):Start URLFetcher: Requests with HeadersParse HTML ContentIdentify Target Category SectionsRegex Extraction for FieldsData Cleaning DeduplicationStorage: CSV SQLite DBVisualization: Category Distribution(注流程图默认采用英语标签保持技术文档的专业与国际化)5️⃣ 环境准备与依赖安装可复现Python 版本3.9(推荐 3.10)项目结构建议Volunteer_Scraper/ ├── __init__.py ├── main.py # 主逻辑与运行入口 ├── requirements.txt # 环境依赖 └── output/ # 生成的数据与图表依赖安装一键复制执行pipinstallrequests beautifulsoup4 pandas matplotlib loguru6️⃣ 核心实现请求层Fetcher—— 给自己加上一层伪装在这一步我们构建一个“绅士”的请求发送器。它会携带User-Agent并且遇到错误时会温柔地重试。importrequestsimporttimefromloguruimportloggerimportrandomclassGentleFetcher:def__init__(self):# 伪装自己是一个浏览器的常见配置self.headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/118.0.0.0 Safari/537.36,Accept:text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,*/*;q0.8,Accept-Language:en-US,en;q0.5}deffetch(self,url:str,retries:int3)-str: 带重试与异常处理的抓取函数 forattemptinrange(retries):try:# 随机休眠 1-3 秒对公益网站极其友好 time.sleep(random.uniform(1,3))logger.info(f Fetching{url}(Attempt{attempt1})...)# Timeout 设置非常关键防止请求卡死responserequests.get(url,headersself.headers,timeout10)# 如果是 403 或 404 等会在这里抛出异常response.raise_for_status()# 确保中文不乱码如果是 gbk 等可以自行修改response.encodingutf-8returnresponse.textexceptrequests.exceptions.HTTPErrorase:logger.error(fHTTP Error:{e})ifresponse.status_code403:logger.warning(Oops! 403 Forbidden. Your IP might be blocked or User-Agent is flagged.)break# 遇到 403 就不要头铁了通常是需要代理了exceptExceptionase:logger.error(fConnection Error:{e})time.sleep(2*(attempt1))return7️⃣ 核心实现解析层Parser—— 在混沌中寻找规则这是本次实战的精华志愿者的说明页往往长这样!-- 这是一个模拟的极简 HTML 结构 --divclassvolunteer-posth3一、敬老助老类/h3p服务对象社区高龄老人及特困独居老人。/pp服务场景街道日间照料中心及老人家中。/pp岗位说明协助老人的日常生活起居提供精神慰藉和读书看报等文化服务。要求有耐心、有爱心。/p/div针对这种极其典型的文本格式我们要祭出正则表达式的大招前瞻断言与懒惰匹配。frombs4importBeautifulSoupimportreclassRulesParser:def__init__(self,html:str):self.soupBeautifulSoup(html,html.parser)defextract_categories(self)-list: 核心方法将结构松散的 HTML 转化为有组织的字典列表 parsed_data[]# 假设所有岗位说明都被包在 classvolunteer-post 的 div 里post_blocksself.soup.find_all(div,class_volunteer-post)forblockinpost_blocks:# 1. 抓取类别名称 (比如 h3 标签里的 一、敬老助老类)category_titleblock.find(h3)ifnotcategory_title:continue# 清洗标题去掉类似 一、, 二、 这样的前缀raw_titlecategory_title.get_text(stripTrue)clean_categoryre.sub(r^[一二三四五六七八九十][、\.\s]*,,raw_title)# 2. 抓取全文文本并尝试进行正则表达式抽取# 因为 p 标签可能是乱七八糟的直接拿 div 的纯文本更稳健full_textblock.get_text(separator\n,stripTrue)# 3. 开始用正则进行字段抽取 (容错模式如果匹配不到就给个 N/A )target_audienceself._extract_by_keyword(full_text,r服务对象[:]\s*(.*?)(?\n|服务场景|岗位说明|$))service_scenarioself._extract_by_keyword(full_text,r服务场景[:]\s*(.*?)(?\n|服务对象|岗位说明|$))descriptionself._extract_by_keyword(full_text,r说明[:]\s*(.*?)$)# 4. 组装数据parsed_data.append({post_category:clean_category,target_audience:target_audience,service_scenario:service_scenario,description:description})returnparsed_datadef_extract_by_keyword(self,text:str,pattern:str)-str: 利用正则从长文本中精准抠出字段值。 加入了容错处理如果匹配失败返回默认值。 matchre.search(pattern,text,re.IGNORECASE|re.DOTALL)ifmatch:# 拿到结果后做一下简单的两端清洗returnmatch.group(1).strip()returnNot Specified实战重点复盘看到r服务对象[:]\s*(.*?)(?\n|服务场景|岗位说明|$)这个魔法句子了吗它的意思是“寻找『服务对象』之后的内容直到遇到换行符、或者『服务场景』四个字、或者结尾为止”。这解决了新手最怕的“怎么在没有标签包裹的文本中准确切分数据”的难题8️⃣ 数据存储与导出Storage—— 让劳动成果落袋为安我们将数据同时存为轻量级数据库 SQLite 和通用的 CSV 格式。对于表头我特别使用了英文这极度方便你后续直接扔给大模型做分析或者导入数据中台。importpandasaspdimportsqlite3importosclassDataExporter:def__init__(self,output_dir:stroutput):self.output_diroutput_dirifnotos.path.exists(output_dir):os.makedirs(output_dir)defexport(self,data:list):ifnotdata:logger.warning(No data to export.)return# 使用 Pandas 处理并导出 CSV指定英文文件名dfpd.DataFrame(data)csv_pathos.path.join(self.output_dir,Volunteer_Service_Categories.csv)df.to_csv(csv_path,indexFalse,encodingutf-8-sig)# utf-8-sig 让 Excel 打开不乱码logger.success(f Successfully exported to CSV:{csv_path})# 存入 SQLite 数据库方便日后复杂查询db_pathos.path.join(self.output_dir,Volunteer_Database.db)connsqlite3.connect(db_path)# 将 DataFrame 直接写入 SQL (append 模式)df.to_sql(service_categories,conn,if_existsreplace,indexFalse)conn.close()logger.success(f Successfully saved to SQLite DB:{db_path})9️⃣ 运行方式与结果展示必写最后我们把上面的积木拼起来写一个漂亮的启动脚本。if__name____main__:# 我们这里用一段模拟的 HTML 来演示真实场景换成你想要抓取的 URLmock_html html body div classvolunteer-post h3一、敬老助老类/h3 p服务对象社区高龄老人及特困独居老人。/p p服务场景街道日间照料中心及老人家中。/p p岗位说明协助老人的日常生活起居提供精神慰藉和读书看报等文化服务。要求有耐心、有爱心。/p /div div classvolunteer-post h3二、大型赛会类/h3 p服务对象参会嘉宾及普通观众。/p p服务场景大型国际会议中心、体育馆。/p p岗位说明负责场馆引导、语言翻译、秩序维护等综合性志愿服务。/p /div /body /html logger.info( Starting Volunteer Categories Scraper...)# 正常流程应该是:# fetcher GentleFetcher()# html_content fetcher.fetch(https://some-volunteer-site.org/rules)# 这里用 mock 的数据进行解析测试parserRulesParser(mock_html)result_dataparser.extract_categories()# 展示抓到的成果foriteminresult_data:print(f 岗位:{item[post_category]}| 对象:{item[target_audience]})# 导出exporterDataExporter()exporter.export(result_data)运行结果预览2023-11-0110:00:00|INFO| Starting Volunteer Categories Scraper... 岗位: 敬老助老类| 对象: 社区高龄老人及特困独居老人。 岗位: 大型赛会类| 对象: 参会嘉宾及普通观众。2023-11-0110:00:01|SUCCESS| Successfully exported to CSV: output/Volunteer_Service_Categories.csv2023-11-0110:00:01|SUCCESS| Successfully saved to SQLite DB: output/Volunteer_Database.db 常见问题与排错强烈建议写在你把这套代码放到别的网站上测试时你可能会遇到以下小烦恼别怕我教你怎么见招拆招️返回状态码403 Forbidden/ 遇到验证码怎么办原因网站的反爬机制觉得你不像普通用户或者是你的请求太快被频控限制Rate Limiting了。排错检查你的User-Agent是否正常在每次请求间隙使用time.sleep(random.randint(3, 8))加大延迟如果还不行说明可能需要加代理 IP 池了。成功返回状态码但 HTML 里一片空白/抓取不到我要的内容原因这说明你要的数据是动态渲染的也就是通过 AJAX 从接口异步加载或者是被前端 JS 渲染出来的。排错在浏览器的“开发者工具 (F12) - Network - Fetch/XHR”里寻找真实的 JSON 数据接口。或者直接放弃requests转投Playwright这种所见即所得的自动化工具怀抱。解析出来的中文字符出现\u4e00\u4e8c或者一堆乱码原因编码错误GBK/UTF-8 冲突。老旧的政府或公益网站偶尔会用gb2312。排错在获取到 response 后强制转码response.encoding response.apparent_encoding。正则匹配一直报NoneType错误原因网页结构的变动导致匹配失败或者你用了match.group(1)但根本没有match对象。排错永远记得容错就像我们在代码中做的那样提取前用if match:判断一下找不到就优雅地返回Not Specified未说明。1️⃣1️⃣ 进阶优化可视化生成为了让你抓取的数据不再是一堆枯燥的代码我们来加点魔法用 Python 的matplotlib给我们的成果画个美美的条形图。(注意所有的图表元素我们均已采用全英文完美符合数据科学行业的标准规范。)importmatplotlib.pyplotaspltimportpandasaspdimportosdefgenerate_visualization(csv_filepath:str): 读取抓取到的 CSV 文件并生成岗位场景的类别统计图 ifnotos.path.exists(csv_filepath):returndfpd.read_csv(csv_filepath)# 计算每个岗位的数量 (假设后续抓了几百条具体的志愿项目)# 这里用我们现有的 mock 数据简单展示category_countsdf[post_category].value_counts()plt.figure(figsize(10,6))# 绘制条形图category_counts.plot(kindbar,colorskyblue,edgecolorblack)# 设置全英文的标题和坐标轴plt.title(Distribution of Volunteer Service Categories,fontsize16,fontweightbold)plt.xlabel(Post Category (Chinese Names),fontsize12)plt.ylabel(Number of Available Scenarios,fontsize12)# 调整 x 轴标签的旋转角度plt.xticks(rotation45,haright)plt.tight_layout()chart_pathos.path.join(os.path.dirname(csv_filepath),Category_Distribution.png)plt.savefig(chart_path,dpi300)print(f Visualization saved to:{chart_path})# 调用示例# generate_visualization(output/Volunteer_Service_Categories.csv)1️⃣2️⃣ 总结与延伸阅读呼太棒了 走到这里我们一起干脆利落地完成了这套关于志愿服务说明页的清洗系统你是不是发现原来把看似杂乱无章的规则文字变成工工整整的数据库竟然可以这么有成就感✨复盘我们的成果我们用极简的requests构建了温柔的访问者用bs4和正则写出了精准的提取器最后甚至用pandas生成了可视化的雏形。这不仅是一次代码的实战更是一次用技术赋能公益场景的尝试❤️延伸思考目前我们的正则是基于“关键字如『服务对象』”来匹配的。如果某个网站的文本里连关键字都不写而是纯粹的一段长描述我们该怎么办呢 这时候就可以引入**自然语言处理NLP**模型或者是直接调用大模型的 API 接口进行信息抽取Information ExtractionIE啦 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。