在爬取网站的时候，要多的站在对方的角度想问题，这次教你怎么伪装自己的 ip 地址，别让对方轻易的就把你给封掉。如何伪装呢？对于 python 来说，使用代理访问很简单，就拿我们经常使用的 requests 库来说，使用代理 ip 如下定义代理IPproxie = { 'http' : 'http://xx.xxx.xx

为什么要用代理IP很多数据网站，对于反爬虫都做了一定的限制，这个如果写过一些爬虫程序的小伙伴应该都深有体会，其实主要还是IP进了小黑屋了，那么为了安全，就不能使用自己的实际IP去爬取人家网站了，这个时候，就需要采用代理IP去做这些事情……为什么要用高匿代理我们可以

作者：闲欢来源：Python 技术经常有粉丝在后台留言，问：大佬，运行你的爬虫程序怎么报错了？我让他把报错信息发过来，看过之后一声叹息。大多数粉丝是直接拿着代码就开始运行，然后就是等待结果，完全不去仔细阅读和理解源码，遇到报错就直接过来询问。多数爬虫源码运行的报

我们在做爬虫的过程中经常会遇到这样的情况：最初爬虫正常运行，正常抓取数据，然而一杯茶的功夫可能就会出现错误，比如403 Forbidden；这时候网页上可能会出现“您的IP访问频率太高”这样的提示，过很久之后才可能解封，但是一会后又出现这种情况。因此我们使用某种方式来伪