scrapy安装以及运行相关事项

安装scrapy

我的电脑环境: Windows 10
python 环境 :python 3.6

最近在看中国大学mooc嵩天教授的爬虫教程(https://www.icourse163.org/learn/BIT-1001870001),觉得还不错,挺适合基础的学习。
但是在学习到scrapy框架的时候安装scrapy遇到了一些问题,而视频上没有提及到。

直接pip3 install scrapy

在Windows的命令行输入pip3 install scrapy 会跳出来缺少Microsoft visualc++14.o的错误。当然你可以选择安装它,另一种解决方法是去(https://www.lfd.uci.edu/~gohlke/pythonlibs/)找到twisted手动下载.whl文件,注意选择你的版本,cp意思是cpython(就是我们使用python版本),找到你的python版本号以及32位还是64位。

下载以后可以将这个文件放到你的python安装目录的scripts下面,接着打开命令行切换到scripts文件夹下面,运行pip install 你刚刚安装的.whl文件(有个小技巧,你输入twisted 以后再按一下tab键就会自动化补全了)

接下来你再pip3 install scrapy 就会安装成功了。

运行一个爬虫的时候出现的问题

在命令行输入 scrapy crawl 爬虫名字 的时候会报错缺少pywin32api,
你需要去这个网站(https://github.com/mhammond/pywin32/releases)下载安装就行了。
一路点击next就行了,安装好这个再运行就不会出现问题了。

写在后面 对于初学者来说环境配置很麻烦,需要的是遇到问题多去用搜索引擎去找答案以及多去看报错信息。

谢谢你的阅读。

文章作者: Mr joe
文章链接: http://mrjoe.cc/2018/06/24/scrapy安装以及运行相关事项/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Mrjoe的博客
欢迎关注哦