我们在上一节中了解了各个请求库设置代理的各个方法，但是如何实时高效地获取到大量可用的代理是一个问题。首先，在互联网上有大量公开的免费代理。当然，我们也可以购买付费的代理 IP，但是代理不论是免费的还是付费的，都不能保证是可用的，因为此 IP 可能被其他人用来爬取

HTTP代理获取代理IP首先需要获取一个可用代理IP和端口，可以从以下网站获取IP：西刺：https://www.xicidaili.com快代理：https://www.kuaidaili.com/free站大爷：http://ip.zdaye.com/dayProxy.html当然，你也可以从其他网站购买更稳定的代理IP。Urllib从上述网站获取代理IP，

一、为什么需要建立爬虫代理ip池 在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制的，在某段时间内，当某个ip的访问量达到一定的阀值时，该ip会被拉黑、在一段时间内被禁止访问。 这种时候，可以通过降低爬虫的频率，或者更改ip来应对。后者就需要有一个可用的代理