一个专业运维
技术分享网站!

curl与wget高级用法

文章目录

curl(文件传输工具)

常用参数如下:

使用示例:
例1:抓取页面到指定文件,如果有乱码可以使用iconv转码

12# curl -o baidu.html www.baidu.com# curl –s –o baidu.html www.baidu.com |iconv -f utf-8 #减少输出信息

例2:模拟浏览器头(user-agent)

1# curl -A “Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.0)” www.baidu.com

例3:处理重定向页面

1# curl –L http://192.168.1.100/301.php #默认curl是不处理重定向

例4:模拟用户登陆,保存cookie信息到cookies.txt文件,再使用cookie登陆

12# curl -c ./cookies.txt -F NAME=user -F PWD=***URL #NAME和PWD是表单属性不同,每个网站基本都不同# curl -b ./cookies.txt –o URL

例5:获取HTTP响应头headers

12# curl -I http://www.baidu.com# curl -D ./header.txt http://www.baidu.com #将headers保存到文件中

例6:访问HTTP认证页面

1# curl –u user:pass URL

例7:通过ftp上传和下载文件

12# curl -T filename ftp://user:pass@ip/docs #上传# curl -O ftp://user:pass@ip/filename #下载

wget(文件下载工具)

常用参数如下:

使用示例:
例1:下载单个文件到当前目录下,也可以-P指定下载目录

1# wgethttp://nginx.org/download/nginx-1.8.0.tar.gz

例2:对于网络不稳定的用户可以使用-c和–tries参数,保证下载完成

1# wget –tries=20 -c http://nginx.org/download/nginx-1.8.0.tar.gz

例3:下载大的文件时,我们可以放到后台去下载,这时会生成wget-log文件来保存下载进度

1# wget -b http://nginx.org/download/nginx-1.8.0.tar.gz

例4:可以利用—spider参数判断网址是否有效

1# wget –spider http://nginx.org/download/nginx-1.8.0.tar.gz

例5:自动从多个链接下载文件

1234# cat url_list.txt #先创建一个URL文件http://nginx.org/download/nginx-1.8.0.tar.gzhttp://nginx.org/download/nginx-1.6.3.tar.gz# wget -i url_list.txt

例6:限制下载速度

1# wget –limit-rate=1m http://nginx.org/download/nginx-1.8.0.tar.gz

例7:登陆ftp下载文件

1# wget –ftp-user=user –ftp-password=pass ftp://ip/filenam

历史上的今天
七月
3
    哇哦~~~,历史上的今天没发表过文章哦
赞(4) 打赏
未经允许不得转载:小柳实验室 » curl与wget高级用法

评论 抢沙发

评论前必须登录!

 

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏