Windows下安装配置爬虫工具Scrapy及爬虫环境
2024-10-15 12:00:46
爬虫工具Scrapy在Mac和Linux环境下都相对好装,但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。
本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。
下载安装Scrapy
按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。
下载地址安装完成后,python2.7也会自动安装好,然后执行以下命令安装Scrapy.
conda install -c conda-forge scrapy
安装mysql驱动
下载并安装mysql官方的驱动程序。下载地址
下载mysql的python驱动程序,可以把两个都装上,使用的时候再决定用哪个。
- MySQL官方的纯Python驱动
pip install mysql-connector-python
封装了MySQL C驱动的Python驱动
安装Python版C++编译程序。下载地址
拷贝mysql驱动(32位不需要这一步),将"C:\Program Files\MySQL" 拷贝到 "C:\Program Files (x86)\MySQL"。
目的是为了防止下一步的错误"Cannot open include file: 'config-win.h': No such file or directory"安装驱动
pip install MySQL-python
安装数据库连接池工具
pip install DBUtils
安装其它相关的依赖库
安装BeautifulSoup
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
pip install beautifulsoup4
安装PyQuery
PyQuery库也是一个非常强大又灵活的网页解析库。
pip install pyquery
最新文章
- 远程debug调试java代码
- 一步一步开发Game服务器(二)登陆2
- PowerShell脚本自动设置安卓手机wifi代理
- dubbo工作原理
- JVM内存区域与内存溢出异常
- 如何清除PL/SQL中的缓存
- java多线程详解(6)-线程间的通信wait及notify方法
- T-SQL语言基础
- 你好,C++(17)0.1*10不等于1.0——4.1.4 关系操作符4.1.5 逻辑操作符
- LeetCode 6. ZigZag Conversion Question
- PhpForm表单验证
- [转载]MySql常用命令总结
- NodeJS用Express建立project
- virus.win32.parite.H病毒的查杀方法
- Facebook 网页应用图文设置教程
- C# 使用FileUpload控件上传图片,将文件转换成二进制进行存储与读取
- iOS程序闪退的原因以及处理办法
- SQL Server 2014备份维护计划
- 强化学习-MDP(马尔可夫决策过程)算法原理
- ABP框架系列之一:(Entity-实体)
热门文章
- python - package - bs4 - 美味汤
- Python中sys和os模块的区别
- 2018.12.17 bzoj1406 : [AHOI2007]密码箱(简单数论)
- ICMP协议、DNS、ARP协议、ping、DHCP协议
- 深度优先搜索DFS和广度优先搜索BFS
- div配景图片全div显示
- Oracle数据库使用mybatis的时候,实体类日期为Date类型,mybatis里面定义的是Date类型,插入的时候,时分秒全部是12:00:00问题
- MongoDB-环境搭建
- (转)JDK安装配置教程
- Html5与Css3知识点拾遗(二)