目录一、为什么URL去重是爬虫的第一道坎？二、从一行代码说起：MD5指纹到底做了什么？三、哈希冲突：MD5做URL去重可靠吗？四、标准化：同一URL的不同写法五、内存版去重：从Set到Bloom Filter六、分布式去重：当一台机器装不下时七、完整的异步爬虫去重系统八、实战：构建一个工业级爬虫去重系统九、去重的最佳实践和陷阱陷阱1：编码问题陷阱2：Cookie和Session ID陷阱3：规范化的性能开销陷阱4：分布式环境下的重复添加一、为什么URL去重是爬虫的第一道坎？很多初学者写爬虫时，习惯用一个简单的list来存放已经抓取过的URL。当数据量达到几百上千时，这种写法还能勉强工作。但当你的爬虫开始抓取大型网站——比如一个电商平台有500万个商品页面，每个商品页面还有分页、排序、筛选参数——你会发现程序变得越来越慢，内存占用越来越高，最后直接卡死。问题的根源在于：去重操作的时间复杂度和空间复杂度会随着数据量增加呈指数级增长。让我们先来看一个真实案例。去年我在做一个比价系统的爬虫，目标是抓取某电商平台的所有商品信息。这个网站的特点是：同一个商品可以通过几十个不同的URL访问。比如：https://shop.com/product/12345https://shop.com/product/12345?from=searchhttps://shop.com/product/12345?utm_source=googlehttps