windows10安装python和mongodb搭建爬虫环境

最近准备学习python爬虫，搭建环境用了好久，这里记录一下windows10安装python和mongodb搭建爬虫环境

安装python

首先在官网下载python的安装包，下载3.6版本即可

在安装之前为了防止出错，先要设置一下权限 C:\Windows\temp 这个的user用户设置为完全控制

安装完毕后进入cmd执行下 python –version 看是否成功，显示版本则成功

安装python库

一般的库可以直接用pip安装，因为是python3版本，所以用pip3 install [库名称]

pip3 install beautifulsoup4
pip3 install requests
pip3 install pymongo

除了pip安装，还可以使用whl方式，有些安装不上或者有问题的可以用这种方法

首先到 pypi.python.org 搜索需要的库，然后下载下来使用命令安装，这里我需要用到lxml库，找到对应平台下载下来之后在当前目录执行如下命令即可安装成功

pip3 install lxml-4.0.0-cp36-cp36m-win_amd64.whl

安装mongodb

下载并安装 https://www.mongodb.com/download-center#community

安装完成后需要进行一些设置，在c盘目录下创建2个文件夹

c:/data/db c:/data/log

然后再mongodb的bin（ C:\Program Files\MongoDB\Server\3.6\bin）目录下打开命令行

按顺序执行如下命令，每个单独开命令窗口

mongod.exe –dbpath c:\data\db
mongod.exe
mongo.exe

继续在mongo目录下创建一个mogod.cfg文件，内容如下

systemLog:
destination: file
path: c:\data\log\mongod.log
storage:
dbPath: c:\data\db

然后执行命令，引号内替换成自己对应的路径

mongod.exe –config “C:\Program Files\MongoDB\Server\3.6\bin\mongod.cfg” –install

这样就安装成功了，可以用软件测试一下

mongodb官方文档：https://docs.mongodb.com/manual/tutorial/install-mongodb-on-windows/