Nginx防爬虫或限制浏览器访问
2024-10-15 21:44:08
假定一个场景：某个网站它可能不希望被网络爬虫抓取，例如测试环境不希望被抓取，以免对用户造成误导，那么需要在该网站中申明，本站不希望被抓取。有如下方法：
方法一：修改nginx.conf，禁止网络爬虫的ua，返回403。
server {
listen 80;
server_name 127.0.0.1;
#添加如下内容即可防止爬虫
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot")
{
return 403;
}
方法2：网站更目录下增加Robots.txt，放在站点根目录下。
限制浏览器访问：
if ($http_user_agent ~* "Firefox|MSIE")
{
return 403;
}
最新文章
- Android中常见的图片加载框架
- 【51Nod 1501】【算法马拉松 19D】石头剪刀布威力加强版
- C# 毕业证书打印《六》
- 昨日尝试使用百度死链提交，使用lCGI规则提交
- 一、Linux目录结构
- [leetcode]_Remove Nth Node From End of List
- Js 日期操作
- 系统级性能分析工具 — Perf
- LESS CSS 总结
- jQuery数组处理函数
- 深入学习微框架：Spring Boot
- 彩蛋 Python之道
- class.forname()方法的学习（转）
- Android实现无线调试自己的应用
- Django实现注册页面_头像上传
- count()函数在count()中参数的讨论
- subprocess.Popen指令包含中文导致乱码问题解决
- 国庆JAVA作业
- Java多线程高级主题
- event.stopPropagation与event.preventDefault的区别