因为爬虫被禁ip这样的反扒真的很凶，但自从建了一个代理ip池以后，反反扒就可以跟的上节奏。拥有一个代理池会很大程度上的帮助我们进行工作，经过一番研究，一个小的代理池就出现了。无私分享全套Python爬虫干货，如果你也想学习Python，@ 私信小编获取import json
import te

我们在做爬虫的过程中经常会遇到这样的情况：最初爬虫正常运行，正常抓取数据，然而一杯茶的功夫可能就会出现错误，比如403 Forbidden；这时候网页上可能会出现“您的IP访问频率太高”这样的提示，过很久之后才可能解封，但是一会后又出现这种情况。因此我们使用某种方式来伪

无私分享全套Python爬虫干货，如果你也想学习Python，@ 私信小编获取做爬虫时，遇到访问太频繁IP被封是难以避免的，而本地单个IP是不足以进行大规模爬取，并且自己并不想购买付费代理，在这里构建一个IP代理池是非常有必要的。为了获取可用性ip更加方便一点，这里利用flask框

为什么我们要学习基于scrapy框架“代理IP池”呢？因为我们利用爬虫去爬取网站的信息，频繁访问会被网站屏蔽我们的IP地址，这样我们也就连接不上网站了，得不到我们想要收集的信息。所以我们要设置IP代理池来攻破反爬虫体制。说在前面：IP代理池是在已经建好爬虫项目的基础上进

在爬取网站的时候，要多的站在对方的角度想问题，这次教你怎么伪装自己的 ip 地址，别让对方轻易的就把你给封掉。如何伪装呢？对于 python 来说，使用代理访问很简单，就拿我们经常使用的 requests 库来说，使用代理 ip 如下定义代理IPproxie = { 'http' : 'http://xx.xxx.xx