关于要python爬虫你需要的一些网址和信息[待补充]
2024-10-06 15:06:26
phantomjs无头浏览器(基本不用)
http://phantomjs.org/download.html
如果报 下面这种错误
[root@hwgz01 ~]# phantomjs
phantomjs: error while loading shared libraries: libfontconfig.so.1: cannot open shared object fi
le: No such file or directory
需要安装包
centos系列 sudo yum install fontconfig
ubuntu系列 sudo apt-get install libfontconfig
如果还出现问题.
https://stackoverflow.com/questions/480764/linux-error-while-loading-shared-libraries-cannot-open-shared-object-file-no-s
抓取数据相关
selennium(pypi页面)
https://pypi.org/project/selenium/
requests
http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
ChromeDriver - WebDriver for Chrome(下载)
http://chromedriver.chromium.org/downloads
下载对应的版本->是和chrome对应的chromeDrive.
解析html的模块
pyquery
https://pythonhosted.org/pyquery/
bs4
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
爬虫相关文章
https://zhuanlan.zhihu.com/p/56157552
最新文章
- java中hashcode()和equals()的详解
- 【bzoj3531】 [SDOI2014]旅行
- 解决方法:64位系统-未在本地计算机上注册“Microsoft.Jet.OLEDB.4.0”提供程序
- mysql 中如何查找相同的数据
- UIView之基础控件综合事例
- IIS的Unicode漏洞攻击
- design pattern factory method #Reprinted#
- 腾讯2014在广州站实习生offer经验（TEG-开发背景）
- Ext.grid.EditorGridPanel分页刷新
- 以守护进程的方式部署flask
- 牛客OI周赛7-提高组 A 小睿睿的等式
- mouseover，mouseout与mouseenter，mouseleave
- Struts2学习第四天——拦截器及文件上传
- OSI的七层模型介绍
- mysql创建用户并给用户分配权限
- XML文件生成C++代码(基于pugixml)
- ASP.NET Web Pages：文件夹
- Laya1.x Timer小记
- IOS基于XMPP协议开发－－XMPPFramewok框架（二）：服务器连接
- 洛谷P4451 [国家集训队]整数的lqp拆分（生成函数）