热门
最新
红包
立Flag
投票
同城
我的
发布
《Day2_电影TOP250全站爬取_URL获取_通用翻页思路_队列使用》
今天主要是讲了下翻页和子网页请求的思路，讲了队列Queue的基本使用，爬虫设计的思路。大家平时在拿到一个网站的时候，可以先带上UA发个请求试探一下，把逻辑跑通，然后就可以开始设计自己的爬虫了。当然你如果需要更有效率的爬虫，对于I/O密集型的处理就用多线程，CUP密集型就用多进程。**换成人话就是：多次请求用多线程，想提高请求和数据解析，存储就用多进程，它本质上就是开辟的不同的内存空间，独立去完成各自的任务。协程的话，我建议少用，尽量不用。那玩意儿对别人的服务器的荷载太高了。
——来自博客 https://blog.csdn.net/Tommy95277/article/details/134445219
请大家给我个反馈，后续我会朝着这个方向继续修改，十分感谢(多选)
0 人已经参与 已结束
太简单了
0人
有点难度
0人
有用
0人
没用
0人
CSDN App 扫码分享
评论
点赞
- 复制链接
- 举报
下一条：
java目录结构
