2023-06-29 03:26 编辑：lilintao 点击： 次 A+
这是一篇记录自己踩坑的文章
爬取网页分三大步骤：
下面开始今天的主题。上目标网站（66免费代理）
首先分析网页，我们要爬取的是ip和端口号
分享到：
![](" % page # 该代理检测不可用 url = '' % page headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36\ (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36', 'Referer': '', } resp = requests.get(url=url, headers=headers, timeout=2) soup = BeautifulSoup(resp.text, 'lxml') for item in soup.find_all('tr')[2:]: try: ip = item.find_all('td')[0].get_text().strip() port = item.find_all('td')[1].get_text().strip() data.append({'ip': '{}:{}'.format(ip, port), 'verify': False}) if len(data) == 0: print("结束") print(data) db.ippool.insert_many(data) # print(port) except: continue # 发生异常的时候跳过此次爬取，继续下一轮<p>经过一番操作，成功获取数据，后面就是比较糟糕的事情了。我们爬取代理ip的主要目的是什么，当然是使用他们呀。在我校验之后，一万多个代理ip没有一个能用的。[流泪][笑哭]</p>
<p>后面多寻找几个网站试试，今天 就先到这里。我是爬虫小白，今后也是</p>
</div>
<div style=)
我要投稿
