Linux系统下利用wget命令把整站下载做镜像网站
2023-09-14 08:59:34 时间
Linux系统下利用wget命令把整站下载做镜像网站
2011-05-28 18:13:01 | 1次阅读 | 评论:0 条 | itokit
在linux下完整的用wget命令整站采集网站做镜像 的命令是及无视网站根目录下的robots.txt限制。并且可以模拟一个正常浏览者的信息下载该网站。
C/C++ Code复制内容到剪贴板
- wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"
wget命令参数注释:
C/C++ Code复制内容到剪贴板
- "-e robots=off" 让wget耍流氓无视robots.txt协议
- -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" 伪造agent信息
相关文章
- linux未找到 ftp命令,Linux服务器ftp命令找不到「建议收藏」
- 设备Linux下轻松访问USB设备(linux访问usb)
- 中国力量:推动 Linux 系统复兴(国产linux系统)
- Linux下保存配置文件的正确方式(linux保存配置文件)
- Linux端口:它到底是什么?(linux什么是端口)
- 定时任务Linux下定时任务管理实战(linux如何执行)
- 控制Linux系统中权限控制的重要性(linux中的权限)
- Linux中文版系统:您的简单易用选择!(linux中文版系统)
- Linux中文方块游戏:激发智商,趣味横生(linux中文方块)
- Linux虚拟机安装指南(linux虚机安装)
- Linux系统的发展变化:分支之间的不同(linux的分支)
- Linux关闭防火墙保护之路(关闭linux的防火墙)
- DB2数据库在Linux系统上的应用(db2数据库linux)
- Linux系统警报:预防前瞻,提升可靠性(linux报警)
- 禁用Linux的防火墙:一步一步的指导.(关闭linux的防火墙)
- Linux系统如何关闭防火墙(关闭linux的防火墙)
- Linux分支:一览无余(linux的分支)
- Linux之黑:探秘黑系统魅力(linux黑系统)
- 安卓手机体验Linux乐趣(安卓手机装linux)
- 基于Linux系统安装虚拟机教程(linux系统装虚拟机)
- 备份Oracle Linux系统的备份方法(oracle的linux)
- Linux下的入侵者:一场危险的冒险(linux入侵系统)
- Linux系统安装:必不可少的技术要求(linux系统安装要求)
- 降低Linux功耗,打造高效节能系统(linux功耗)
- 深入解析Linux AM335x嵌入式系统技术(linux am335x)
- 无线路由器如何在 Linux 系统上配置?(无线路由linux)
- 我的Linux之旅:让自我发光发热(自己的linux系统)
- 如何在Linux系统上配置搜狗输入法(搜狗linux设置)
- Linux系统搭建网站,让我们一起看看吧!(linux系统搭建网站)
- linux Oracle11g日志分析在Linux系统上的实践(oracle11g日志在)