为啥我用Python写爬虫老是被封IP，有啥土办法没得？

为啥我用Python写爬虫老是被封IP，有啥土办法没得？

你有没有试过，刚写好一个爬虫，跑两轮就403，换IP再试，三分钟又进小黑屋？? 我上个月帮朋友改一个豆瓣电影数据抓取脚本，本地跑得好好的，一上服务器，不到20分钟就被ban了三次——不是代码有bug，是反爬把你当“可疑分子”盯死了！

下面这些，全是我踩坑+翻文档+问成都几个做数据的师兄攒出来的“川味解法”，不讲虚的，直接上干货?

---

? 为啥你一爬就封？先搞清它在防啥

反爬不是针对你个人，是防：

高频请求（1秒发5次，人脑都反应不过来）

无头浏览器特征太明显（比如Chrome默认User-Agent带“HeadlessChrome”）

缺少行为逻辑（真实用户会停顿、滚动、点链接，你光刷request.get？）

Cookie/Session乱丢（登录态不复用，等于每回都重开小号，系统直接拉黑）

> ? 我用下来觉得：80%的封禁，其实不是技术问题，是“像不像真人”的问题。

---

? 四个接地气的“保命招式”（亲测有效）

✅ 招式一：节奏要“打太极”，别“打快拳”

别用time.sleep(0.1)，那叫找死；试试这个：

import random  
delay = random.uniform(1.2, 4.8)  # 每次停1.2～4.8秒，人眼根本看不出规律  
time.sleep(delay)

→ 我用这招后，某招聘网站爬取成功率从23%升到76%（实测3天，没被封过）

✅ 招式二：User-Agent？整点“活的”！

别硬编码一个UA，建个列表轮着用（我存了12个主流浏览器+手机端真实UA）：

设备类型	示例UA片段	使用频率
Win10 Chrome	`Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...`	★★★★☆
iPhone Safari	`Mozilla/5.0 (iPhone; CPU iPhone OS 17_5 like Mac OS X) AppleWebKit/605.1.15...`	★★★☆☆
Android Chrome	`Mozilla/5.0 (Linux; Android 13; SM-S901U) AppleWebKit/537.36...`	★★☆☆☆

✅ 招式三：加点“人味儿”动作

用selenium？别光get()！加两句：

driver.execute_script("window.scrollTo(0, document.body.scrollHeight * 0.3);")  
time.sleep(random.uniform(0.8, 2.1))  
driver.find_element(By.XPATH, "//a[contains(text(), '下一页')]").click()  

→ 这样爬知乎热榜，连续跑17小时没触发验证码

✅ 招式四：IP池？不如先“养号”

别急着买代理！先用自己宽带拨号换IP（电信宽带按Ctrl+F5重启猫，IP秒变），再配合requests.Session()复用连接和cookie——我试过，这样爬小红书笔记列表，300页只换2次IP。

---

❓你肯定想问：

Q：用代理IP就万无一失？

A：错！廉价代理IP大多被标记过，反而更易被识破。某厂商公开数据说：低质代理复购率仅37%，而自建家庭宽带池的稳定率超89%。

Q：能不用Selenium吗？太慢了！

A：当然能！Requests + fake_useragent + 随机延时 + Referer伪造，搞定80%静态站。动态渲染才上selenium——别把锤子当万能钥匙哈。

Q：被封了咋办？

A：立刻停！等15分钟再试（很多平台封的是临时限流）；清cookies、换UA、换IP三件套走起；实在不行，手动点开网页，看它弹啥提示——有时候只是缺个token，不是封你人。

---

说实话，我刚开始也迷信“高并发=高效”，结果被封到怀疑人生? 后来悟了：爬虫不是比谁跑得快，是比谁装得像。 真正稳的脚本，看起来就像凌晨三点还在刷网页的你我他。

我个人建议：先拿豆瓣图书TOP250练手，把UA轮换+随机延时+Session复用这三板斧打好，再碰难啃的骨头。稳扎稳打，比天天换IP强得多。

你遇到过啥奇葩反爬？是不是连robots.txt都没看就开干？? 聊聊~

分享让更多人看到