一.  下载地址：https://www.screamingfrog.co.uk/seo-spider/

二.  使用教程

链接1： https://blog.csdn.net/a055350/article/details/103325531

链接2：https://cloud.tencent.com/developer/news/485392

抓取方式1：

默认的“蜘蛛”模式将对网站进行爬网，即“列表”，可让您上载要爬网的URL列表。

您可以通过将主页插入“输入蜘蛛的URL”字段并单击“开始”来开始常规的“蜘蛛”爬网。

您可以单击“暂停”，并且可以随时“恢复”爬网。您还可以保存抓取并稍后恢复，有关更多信息，请稍后保存。

如果您想抓取URL列表而不是整个网站，请单击“模式>列表”以上传或粘贴URL列表。

最新文章

1. Hbuilder快捷键
2. android图片透明度跟缩放大小动画事件
3. .net源码分析 – Dictionary<TKey, TValue>
4. tornado 第二种路由方法（装饰器）
5. box-sizing属性
6. 结合仓库设计MVC控制器
7. 用 xampp 在 windows/Linux 下搭建代理服务器
8. HTML5 viewport 标签与 CSS3 background-size 属性 使图片完全适应区域内容
9. HDU3466Proud Merchants（贪心&背包）
10. IntelliJ IDEA的Maven项目在修改时报java.lang.OutOfMemoryError: PermGen space异常
11. Java的登陆验证问题
12. Js 自定义回调函数
13. java覆写equals方法
14. R语言成功加载rJava方法
15. Swing-JSlider用法-入门
16. java 连接mysql
17. (最完美)MIUI12系统的Usb调试模式在哪里开启的步骤
18. 【转】STM32三种启动模式
19. sqoop导数据
20. Luffy之注册认证(容联云通讯短信验证)

热门文章

1. Android开发环境及Hello World程序
2. macos brew zookeeper，安装后zookeeper启动失败？
3. vm虚拟机安装centos7。克隆镜像以及快照
4. Linux 硬盘挂载及开机挂载
5. Python MoviePy中文教程导览及可执行音视频剪辑工具下载
6. moviepy音视频剪辑：headblur函数遇到的ValueError assignment destination is read-only问题及解决办法
7. PyQt(Python+Qt)学习随笔：Designer中属性设置界面的属性字体使用粗黑体的含义
8. CQUT校园通知网消息爬虫+Server酱微信推送
9. POJ_1961
10. 题解-Sakuya's task