wget

下载工具

一般

wget url
下载url指定的资源,日志输出到stdout,文件名称和url中指定的资源名称一致

wget url -o log -O file
-o:指定日志输出到的文件
-O:指定下载后的文件名称

wget -t 5 url
-t:指定重试次数

限制下载速度

wget --limit-rate 20k url
--limit-rate: 限速,单位有k,m
--quota:或者-Q,限制占用的磁盘大小

断点续传

wget -c url

镜像整个网站

wget --mirror url
将整个网站下载下来

wget -r -N -l 5 url
-r:递归下载
-l:指定递归的深度
-N:允许对文件使用时间戳

ftp、http使用密码

wget --user username --password pass url
使用用户名密码登录并下载

使用post

wget url --post-data "name=value1&name2=value2" -o out.html
以POST的方式提交数据,"name=value1&name2=value2"

curl

curl url -O
下载url中的资源,文件名称从url中解析出

curl url -o filename
下载为filename文件

curl url
直接将url资源内容下载输出到stdout

断点续传

curl -C - url
从上次断点开始下载
-C - ,curl自动推断出需要从哪里开始下载
-C offset:指定偏移量

指定referer

curl --referer refer_url target_url

curl url --cookie "user=bob;pass=123"
curl url --cookie-jar file
--cookie指定cookie,多个cookie使用";"隔开
--cookie-jar,指定cookie文件

设置代理字符串

curl url --user-agent "Mozilla/5.0"

指定任意头部信息

curl -H "Host:www.test.com" -H "Accept-language: en" url
-H 指定任意header,可以指定多个

指定最大下载大小

curl url --max-filesize bytes
如果文件超出限制,返回一个非0码,如果正常返回0

使用用户名密码

curl -u username:passwd url

只打印头信息

curl -I http://test.com
curl -head http://test.com
只打印http头信息,不下载文件

post提交数据

curl -d "name=value1&name2=value2" url -o out.html
-d: 提交post数据,使用""包围,防止shell对"&"执行为命令
--data: 和-d一样

最新文章

  1. rabbimq连接问题处理
  2. 阿里云的RDS 查看binlog日志的方法
  3. [BTS] Exception occurred when persisting state to the database
  4. AccessHelper
  5. 新浪微博客户端(13)-使用UIWebView加载OAuth授权界面
  6. Android 中的openurl
  7. oracle 临时表空间
  8. Hibernate学习小结
  9. 开发错误日志之Unix/Linux命令未执行或无结果等且程序无错误
  10. PHP 中 AJAX 中文乱码解决
  11. 数据结构(C达到)------- 双链表
  12. C++ : 从栈和堆来理解C#中的值类型和引用类型
  13. Python基础——条件判断
  14. HQL知识点一
  15. df命令,du命令,磁盘分区
  16. lenet-5
  17. |与|| ,&与&& 分别表示什么意思?
  18. 不能安装64位office提示已安装32位的
  19. Redis集群事物提交异常Multi-key operations must involve a single slot
  20. hdu5505-GT and numbers-(贪心+gcd+唯一分解定理)

热门文章

  1. css摘要
  2. 【翻译】Flume 1.8.0 User Guide(用户指南) Sink
  3. tp5
  4. (PMP)解题技巧和典型题目分析(0903-2班)
  5. Qt打包发布exe
  6. 二叉树/DFS总结
  7. 通过TensorFlow训练神经网络模型
  8. Linux挂载NAS 网络附属存储
  9. [转载]ECMall模板解析语法与机制
  10. TopicsExtraction with NMF & LDA