wget 大法好啊,废话不多说,下面开始wget之旅吧。


下载限速

wget命令有一个内建的选项可以先顶下载任务占有的最大的带宽,从而保证其他应用程序的流畅运行。

具体使用--limit-rate 数字k(千字节)/m(兆字节)

举例:

# 以20k速度下载一个iso文件
wget --limit-rate 20k http://example.com/file.iso

额外的,wget还可以指定最大下载配额(quota)一旦配额用尽,下载也就会随之停止。

配额:说白了就是分配给的下载量,如1G等等。

举例:

wget -Q 100m http://wxample.com/file1 http://example.com/file2

断点续传

这个功能真的是很优雅,使用wget的时候,只需要指定-c选项即可。

举例:

wget -c URL

复制整个网站

复制整个网站,说白了就是把目标网站做成一个镜像,然后下载到本地。

  • 常用方式:

    我们只需要制定–mirror参数即可。但是网站上超链接什么的大部分是以网站服务器相对路径而存在的,为了保证下载下来的镜像能正常的访问,我们需要将这些超链接转换成本地形式,这时–convert-links就出场了。

    举例:
wget --mirror --convert-links URL
  • 不常用方式:
wget -r -N -l -k DEPTH URL
  • r: recursive 代表递归的下载
  • N: 表示使用文件的时间戳
  • l : 指定页面的层级
  • k(convert-links): 指示将页面的超链接转换成本地地址

访问需认证的页面

指定–user 和–password参数即可

举例:

wget --user username -password password URL

或者不指定密码,而由网页提示并手动的输入密码。

wget --user username --ask-password pass URL

最新文章

  1. About_PHP读写文件
  2. Microsoft.VisualStudio.TestTools.UnitTesting 命名空间
  3. 去掉mysql数据库字段中的个别字符
  4. Spark提交任务到集群
  5. Chapter 5
  6. ACM——01排序
  7. 启动tomcat的 startup.bat屏幕一闪而过
  8. Postman 基本操作学习
  9. MSSQL - 存储过程Return返回值
  10. 如何将linux用在开发环境中的
  11. oracle中如何移动数据文件
  12. js面向对象学习笔记(四):对象的混合写法
  13. 自己动手实践 spring retry 重试框架
  14. 注意:QQ影音视频压缩时长丢失
  15. Win7 指定以某个用户运行某个程式
  16. JVM常用配置参数说明
  17. 前端反爬虫策略--font-face 猫眼数据爬取
  18. Javascript 面向对象的编程思想
  19. Tomcat通过自带的Cluster方式实现Session会话共享环境操作记录
  20. git 删除分支 远程 && 本地

热门文章

  1. 【实验吧】CTF_Web_简单的SQL注入之2
  2. 半径无关快速高斯模糊实现(附完整C代码)
  3. [BZOJ]3532: [Sdoi2014]Lis
  4. bzoj 3751: [NOIP2014]解方程
  5. AR8033 1000M模式下ping包丢包率过大分析与解决
  6. 机器学习基础—集成学习Bagging 和 Boosting
  7. Unix文件系统的主要特点是什么?
  8. QRCode.js:使用 JavaScript 生成二维码
  9. 线性表 linear_list 顺序存储结构
  10. Deap Learning (吴恩达) 第一章深度学习概论 学习笔记