热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_44638915
HibariX
5 年前
trueweixin_44638915

请教关于scrapy爬虫问题
为处理所爬取网页封ip,采用动态vps主机PPPOE断线重连实现ip切换,断线重连代码实现是在下载中间件的process_response(),并且返回request(返回request会放回调度器), 断线重连后有检测网络是否能ping通,但重连后scrapy无法继续爬取新数据,并且会出现scrapy closed的结果
想请问大佬们为什么会出现这种情况?是因为scrapy检测到断线吗? 那该如何解决? 麻烦各位大佬了

CSDN App 扫码分享
分享
评论
1
打赏
  • 复制链接
  • 举报
下一条:
哪位大佬能用mathmatica模拟太阳系运动,代码估计比较复杂,有偿求,有大佬愿意的私聊
立即登录