热门

最新

红包

立Flag

投票

同城

发布
qq_40540178
Solution.
5 年前
trueqq_40540178

新发博客，欢迎指正～

评论
2
打赏
  • 复制链接
  • 举报
下一条：
请教关于scrapy爬虫问题为处理所爬取网页封ip，采用动态vps主机PPPOE断线重连实现ip切换，断线重连代码实现是在下载中间件的process_response()，并且返回request(返回request会放回调度器), 断线重连后有检测网络是否能ping通，但重连后scrapy无法继续爬取新数据，并且会出现scrapy closed的结果想请问大佬们为什么会出现这种情况？是因为scrapy检测到断线吗？ 那该如何解决？ 麻烦各位大佬了