作者：闲欢来源：Python 技术经常有粉丝在后台留言，问：大佬，运行你的爬虫程序怎么报错了？我让他把报错信息发过来，看过之后一声叹息。大多数粉丝是直接拿着代码就开始运行，然后就是等待结果，完全不去仔细阅读和理解源码，遇到报错就直接过来询问。多数爬虫源码运行的报

我们在上一节中了解了各个请求库设置代理的各个方法，但是如何实时高效地获取到大量可用的代理是一个问题。首先，在互联网上有大量公开的免费代理。当然，我们也可以购买付费的代理 IP，但是代理不论是免费的还是付费的，都不能保证是可用的，因为此 IP 可能被其他人用来爬取