今天终于成功了一次scrapy架构最简单版本爬豆瓣top250
看了网上教程帖子复制代码倒腾了一个星期发现老报错,接近崩溃的瞬间,还是静下心来重新看了一下视频教程,然后各种百度各种搜索,终于倒腾运行成功了!
记录一下两个错误地方
1.在电脑总的cmd终端里面安装pip和scrapy是默认安到了环境变量path里,也就是之前安装python时候自己设定的那个环境变量。如果后来改了,就安进改的那个里面了。我之前就是把python环境变量改了安了后来还原了发现安错了地方。导致运行时候找不到模块。
这还没有结束。在总的终端运行scrapy创建一个项目文件夹,先进去D:\Env后再cd创建一个项目文件夹,对于小白来说。连这个也需要百度一下才知道如何创建,每一步都百度怪不得搞这么久。最后再在那个pycharm里打开那个项目project。再设置一下虚拟环境,在这个软件里的终端安装pip和scrapy。
2.复制代码以后发现运行报错,后来我各种百度以后就改了代码,1.Selector需要专门引入。2.items设置完了找不到MovieItem其实也是需要引入一个douban.items意思是从这个文件找到!MovieItem,视频教程里和网站里没有写这么详细。还得自己去踩坑。