wget下载整个网站---比较实用--比如抓取Smarty的document
2024-09-07 18:04:13
wget下载整个网站可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps, -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的.
另外还有其他的一些参数可以使用:
-c表示断点续传
-t 100表示重试100次,-t 0表示无穷次重试
另外可以将要下载的url写到一个文件中,每个url一行,使用这样的命令 wget -i download.txt.
--reject=avi,rmvb 表示不下载avi,rmvb的文件,--accept=jpg,jpeg,表示只下载jpg,jpeg的文件.
可 以在用户目录下建立一个.wgetrc的文件(windows里面好像不能直接建立这样的文件,windows会认为没有文件名--),里面写上 http-proxy = 123.456.78.9:80,然后在加上参数 --proxy=on,如果需要密码,再加上下面的参数
--proxy-user=username, --proxy-passwd=password
最新文章
- Neusoft(3)增加自己的内核模块
- 表单的enctype property
- 《构建之法》第8、9、10章的读后感和第一个sprint总结
- 11月16日《奥威Power-BI基于SQL的存储过程及自定义SQL脚本制作报表》腾讯课堂开课啦
- jquery ajax post, get, javascript ajax post, get 处理
- 用typedef给结构体一个别名
- 【转】no resource found @integer/google_play_services_version whats this?
- effective_c++条款20，用pass-by-reference-to-const替换pass-by-value
- Robot Framework 使用1-环境配置及简单网站兼容性测试（转）
- [CC-BSTRLCP]Count Binary Strings
- json-server使用及路由配置
- mysql8.0 linux 安装
- /etc/profile 路径出错后相关的命令失效解决方式
- Oracle11g服务详细介绍
- 查看 js对象
- ABBYY FineReader 12没你想得那么简单
- SPOJ AMR10I 递归
- Tomcat配置 设置启动参数,点击startup.bat启动
- Jenkins 邮箱配置及问题解决
- BZOJ 1248--游乐园(DFS&贪心)