分布式爬虫假死是什么情况单机一个windows分布式的时候带宽用了3mb/s 整个爬完用了15分钟 8万数据一字不差的写进了mysql 。后面 两个linux 虚拟机，一个本机的windows,代码是直接部署上去的，运行没报错 也是同一个redis，也是同一个mysql，一起跑 带宽才500多kb/s跑了 就算这样跑下去也没有单机效率高啊 两三分钟前三个爬虫完全正常 ，但是过了一会儿 就停了 win和linux全部停了 没有报错 mysql存了1万不到，写了3个完全不一样的爬虫都是这种情况，也没有宕机 就是假死了。一动不动，linux 3G 4核。redis 也是独立一个的 mysql也是独立一个。电脑配置完全足够 占用不高。目标网站是完全没有反爬的 但是还是用上了ip 池 ua池。假死的时候网站没有问题 能正常访问。不存在封ip 和404的问题，响应状态一直都是200 访问的每一个网址都没有错。。