修改配置nginx,限制无良爬虫频率
2024-09-04 11:44:03
配置如下:
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m; #某个server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* "xxspider|xxbot") {
set $anti_spider $http_user_agent;
}
超过设置的限定频率,就会给spider一个503。
上述配置详细解释请自行google下,具体的spider/bot名称请自定义。
最新文章
- python2-gst0.10制作静态包的补丁 v1.1
- Java魔法堂:finalize函数
- [Tex学习笔记]积分平均
- Prim算法和Kruskal算法(图论中的最小生成树算法)
- iOS后台定位实现
- Bootstrap页面布局6 - BS把已有的固定宽度布局转换成响应式布局
- Javascript 知识点简介
- Centos DNS重启失效的解决
- VS2010/MFC对话框二:为对话框添加控件)
- 服务端获取客户端html页面内容-2013-6-28-2
- C# 利用VS自带的WSDL工具生成WebService服务类
- 20164301 Exp5 MSF基础应用
- Mac 安装HomeBrew 出错
- 【CF717G】Underfail 费用流
- centos 配置puTTY rsa自动登录
- PHP使用serialize和json_encode序列化数据并通过redis缓存文件和$GLOGALS缓存资源对象
- 610D - Vika and Segments(线段树+扫描线+离散化)
- 无线基站侧的信令风暴根因——频繁的释放和连接RRC产生大量信令、设备移动导致小区重选信令增加、寻呼信令多
- 快速求排列组合 lucas定理
- 【线程】结果缓存实现(future与concurrenthashmap)
热门文章
- 【推导】Codeforces Round #411 (Div. 1) A. Find Amir
- [NOIp2017提高组]逛公园
- [WikiOI ";天梯";1281] Xn数列
- Red Hat Enterprise Linux上配置SQL Server Always On Availability Group
- java通过UUID生成16位唯一订单号
- Android内存优化13 内存泄漏常见情况4 资源泄漏
- 项目中集成Easyui-Tree,可拖拽更新节点
- net登录积分(每天登录积分仅仅能加一次) 时间的比較
- Tomcat9 访问 Manager App
- (转)dubbo design