描述：反爬虫是一个复杂的过程，针对爬虫常见的行为特征，WAF反爬虫三板斧——Robot检测（识别User-Agent）、网站反爬虫（检查浏览器合法性）和CC攻击防护（限制访问频率）可以全方位帮您解决业务网站遭受的爬虫问题，协助您打赢与爬虫的持久战！华为云Web应用防火墙（Web Application Firewall，WAF）通过对HTTP(S)请求进行检测，可以识别并阻断恶意爬虫扫描，让您的Web服务免受爬虫攻击，保护您的Web服务安全。
 
网络爬虫（Web Crawler），又称网络蜘蛛（Web Spider）或网络机器人（Web Robot），是一种按照一定的规则，自动获取网页内容并可以按照指定规则提取相应内容的程序或脚本，已被广泛应用于互联网搜索领域。
网络爬虫为网络信息收集与查询提供了极大的便利，但同时也对网络安全产生以下负面影响：
  1. 网络爬虫会根据特定策略尽可能多的“爬过”网站中的高价值信息，占用服务器带宽，增加服务器的负载。
  2. 恶意用户利用网络爬虫对Web服务发动DoS攻击，可能使Web服务资源耗尽而不能提供正常服务。
  3. 恶意用户利用网络爬虫抓取各种敏感信息，造成网站的核心数据被窃取，损害企业经济利益。
如果您的网站正在遭受爬虫侵扰，千万不要忍耐，是时候和爬虫来一场大战了！
华为云Web应用防火墙（Web Application Firewall，WAF）通过对HTTP(S)请求进行检测，可以识别并阻断恶意爬虫扫描，让您的Web服务免受爬虫攻击，保护您的Web服务安全。只要您有域名，不管您的业务部署在云上还是云下，WAF都可以为您的业务保驾护航。
 
使用WAF前，您需要购买WAF：戳这里，并将您的防护域名接入WAF：戳这里
 
反爬虫是一个复杂的过程，针对爬虫常见的行为特征，WAF反爬虫三板斧——Robot检测（识别User-Agent）、网站反爬虫（检查浏览器合法性）和CC攻击防护（限制访问频率）可以全方位帮您解决业务网站遭受的爬虫问题，协助您打赢与爬虫的持久战！
 
还等什么，还不赶快把WAF反爬虫三板斧耍起！
 
WAF反爬虫三板斧神器来了

一板斧：开启Robot检测

检测和拦截恶意爬虫、扫描器、网马等威胁。
 
步骤1 ：进入“域名配置”界面，在目标域名所在行的“防护策略”栏中，单击“配置防护策略”，进入防护配置页面。
步骤2 ：在“Web基础防护”配置框，开启Web基础防护后，单击“高级设置”。
步骤3 ：在Web基础防护设置页面，开启Robot检测开关。
当WAF检测到恶意爬虫、扫描器等对网站进行爬取时，将立即拦截并记录该事件，您可以在“防护事件”页面查看爬虫防护日志。
----结束

二板斧：开启网站反爬虫

动态分析网站业务模型，结合人机识别技术和数据风控手段，精准识别爬虫行为。
 
该功能依赖浏览器对javascript代码的解析，因此如果业务接口存在API调用的情况，建议不要开启该防护功能。由于CDN服务会缓存图片、静态资源等文件，如果您的业务接入了CDN服务，该特性将无法达到预期效果，并且有可能造成页面访问异常，建议不要开启该防护功能。
 
步骤1 ： 进入“域名配置”界面，在目标域名所在行的“防护策略”栏中，单击“配置防护策略”，进入防护配置页面。
步骤2 ：在“网站反爬虫”配置框，开启防护。
开启该防护后，非浏览器的访问将不能获取业务页面。
----结束

三板斧：开启CC攻击防护

限制单个IP/Cookie/Referer访问者对您的网站上特定路径（URL）的访问频率，缓解CC攻击对业务的影响。
 
步骤1 ：进入“域名配置”界面，在目标域名所在行的“防护策略”栏中，单击“配置防护策略”，进入防护配置页面。
步骤2 ： 在“CC攻击防护”配置框，开启防护后，单击“自定义CC攻击防护规则”。
步骤3 ：在“CC防护”规则配置页面左上角，单击“添加规则”。以IP限速为例，添加IP限速规则。
设置成功后，当用户访问超过限制后需要输入验证码才能继续访问。
----结束
WAF除了反爬虫，还提供了网页防篡改、防敏感信息泄露、精准访问防护等防护功能，让您轻松应对各种Web安全风险~~
 
更多关于WAF的功能，戳这里
 
安全无小事，时刻需警惕。2020，华为云普惠云安全，为您的网站、主机、数据提供免费云体检，还有一站式过等保贴心指导，赶紧戳这里，了解详情吧！
 

最新文章

  1. HibernateUtil.java
  2. 使用 jquery 获取当前时间的方法
  3. sql 循环语句几种方式
  4. Mysql ERROR 1064 （42000）
  5. bzoj2152 聪聪可可
  6. AD转换后数字量的处理
  7. 把一个序列转换成非严格递增序列的最小花费 POJ 3666
  8. 二维码zxing源码分析（二）decode部分
  9. Linux学习笔记24——进程管道
  10. 2017-04-21周Java学习笔记
  11. Hadoop源码篇--Client源码
  12. 东风本田/XR-V/2017款
  13. .net基础学java系列（五）慢性自杀 之 沉沦在IDE中
  14. [CF976E]Well played!
  15. JQ01
  16. [转帖] kubeadm搭建kubernetes集群
  17. 为什么面试要问 hashmap 的原理
  18. scrapy-redis 更改队列和分布式爬虫
  19. vue.js2.0+elementui ——> 后台管理系统
  20. 黄聪：“不允许对64位应用程序进行修改”的解决方法 --“Changes to 64-bit applications are not allowed.”

热门文章

  1. Obtain The String CodeForces - 1295C binary_search+思维
  2. java对象头信息和三种锁的性能对比
  3. 一站式轻量级框架 Spring
  4. python执行提示“ImportError: No module named OpenSSL.crypto”
  5. Java IO 流 -- 数据流和对象流 DataOutputStream ObjectOutputStream
  6. synchronized 作为悲观锁，锁住了什么？
  7. Caused by: java.lang.NumberFormatException: For input string: " 60"
  8. QMessage自动定时关闭
  9. 利用python画出SJF调度图
  10. Maven+Jmeter+Jenkins的持续集成的新尝试