云社区 博客 博客详情
云社区 博客 博客详情

【云小课】安全第2课 WAF反爬虫“三板斧”:轻松应对网站恶意爬虫

云安全才子 发表于 2020-04-20 14:56:00 04-20 14:56
云安全才子 发表于 2020-04-20 14:56:00 2020/04/20
3
5

【摘要】 WAF可以从识别User-Agent、检查浏览器合法性和限制访问频率三个方面进行网站爬虫防护,帮您精准识别爬虫行为,有效阻止爬虫攻击。


关键词:网络蜘蛛 华为云 应用防火墙 网站反爬虫 CC攻击防护

描述:反爬虫是一个复杂的过程,针对爬虫常见的行为特征,WAF反爬虫三板斧——Robot检测(识别User-Agent)、网站反爬虫(检查浏览器合法性)和CC攻击防护(限制访问频率)可以全方位帮您解决业务网站遭受的爬虫问题,协助您打赢与爬虫的持久战!华为云Web应用防火墙(Web Application FirewallWAF)通过对HTTP(S)请求进行检测,可以识别并阻断恶意爬虫扫描,让您的Web服务免受爬虫攻击,保护您的Web服务安全。

网络爬虫(Web Crawler),又称网络蜘蛛(Web Spider)或网络机器人(Web Robot),是一种按照一定的规则,自动获取网页内容并可以按照指定规则提取相应内容的程序或脚本,已被广泛应用于互联网搜索领域。

网络爬虫为网络信息收集与查询提供了极大的便利,但同时也对网络安全产生以下负面影响:

络爬虫会根据特定策略尽可能多的“爬过”网站中的高价值信息,占用服务器带宽,增加服务器的负载。

恶意用户利用网络爬虫对Web服务发动DoS攻击,可能使Web服务资源耗尽而不能提供正常服务。

恶意用户利用网络爬虫抓取各种敏感信息,造成网站的核心数据被窃取,损害企业经济利益。

如果您的网站正在遭受爬虫侵扰,千万不要忍耐,是时候和爬虫来一场大战了!

华为云Web应用防火墙(Web Application FirewallWAF)通过对HTTP(S)请求进行检测,可以识别并阻断恶意爬虫扫描,让您的Web服务免受爬虫攻击,保护您的Web服务安全。只要您有域名,不管您的业务部署在云上还是云下,WAF都可以为您的业务保驾护航。

使用WAF前,您需要购买WAF:这里并将您的防护域名接入WAF:这里

反爬虫是一个复杂的过程,针对爬虫常见的行为特征,WAF反爬虫三板斧——Robot检测(识别User-Agent)、网站反爬虫(检查浏览器合法性)和CC攻击防护(限制访问频率)可以全方位帮您解决业务网站遭受的爬虫问题,协助您打赢与爬虫的持久战!

还等什么,还不赶快把WAF反爬虫三板斧耍起!

WAF反爬虫三板斧神器来了

一板斧:开启Robot检测

检测和拦截恶意爬虫、扫描器、网马等威胁。

步骤 1 :进入“域名配置”界面,在目标域名所在行的“防护策略”栏中,单击“配置防护策略”,进入防护配置页面。

步骤 2 :在“Web基础防护”配置框,开启Web基础防护后,单击“高级设置”。

 步骤 3 :Web基础防护设置页面,开启Robot检测开关。

WAF检测到恶意爬虫、扫描器等对网站进行爬取时,将立即拦截并记录该事件,您可以在“防护事件”页面查看爬虫防护日志。

----结束

二板斧:开启网站反爬虫

动态分析网站业务模型,结合人机识别技术和数据风控手段,精准识别爬虫行为。

 该功能依赖浏览器对javascript代码的解析,因此如果业务接口存在API调用的情况,建议不要开启该防护功能。由于CDN服务会缓存图片、静态资源等文件,如果您的业务接入了CDN服务,该特性将无法达到预期效果,并且有可能造成页面访问异常,建议不要开启该防护功能。

 步骤 1 : 进入“域名配置”界面,在目标域名所在行的“防护策略”栏中,单击“配置防护策略”,进入防护配置页面。

 步骤 2 :在“网站反爬虫”配置框,开启防护。

开启该防护后,非浏览器的访问将不能获取业务页面。

----结束

三板斧:开启CC攻击防护

限制单个IP/Cookie/Referer访问者对您的网站上特定路径(URL)的访问频率,缓解CC攻击对业务的影响。

步骤 1 :进入“域名配置”界面,在目标域名所在行的“防护策略”栏中,单击“配置防护策略”,进入防护配置页面。

步骤 2 : 在“CC攻击防护”配置框,开启防护后,单击“自定义CC攻击防护规则”。

步骤 3 :在“CC防护”规则配置页面左上角,单击“添加规则”。以IP限速为例,添加IP限速规则。

设置成功后,当用户访问超过限制后需要输入验证码才能继续访问。

----结束

WAF除了反爬虫,还提供了网页防篡改防敏感信息泄露精准访问防护等防护功能,让您轻松应对各种Web安全风险~~

更多关于WAF的功能,戳这里

安全无小事,时刻需警惕。2020,华为云普惠云安全,为您的网站、主机、数据提供免费云体检,还有一站式过等保贴心指导,赶紧戳这里,了解详情吧!


登录后可下载附件,请登录或者注册

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:huaweicloud.bbs@huawei.com进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
评论文章 //点赞 收藏 5
点赞
分享文章到微博
分享文章到朋友圈

评论 (3)


小秋小淼

1楼2020-04-21 11:22:43
我俩是这么说的,他问我之前做项目时候出差频率是怎么样的,我说我的项目是需求分析去两次,项目重要阶段去一次,后期部署去一次,但是我们的项目周期比较长,快一年半了,他说他们项目比较多一两个月至少出差一次

黄天一望也

2楼2020-05-06 12:46:18
为什么华为浏览器更新不了?

云安全才子1楼2020-05-13 11:38:21

请问您说的更新不了,具体是指啥呢?
0/1000
0/1000
评论

登录后可评论,请 登录注册

评论

您还没有写博客的权限!

温馨提示

您确认删除评论吗?

确定
取消
温馨提示

您确认删除评论吗?

删除操作无法恢复,请谨慎操作。

确定
取消
温馨提示

您确认删除博客吗?

确定
取消

确认删除

您确认删除博客吗?

确认删除

您确认删除评论吗?

温馨提示

登录超时或用户已下线,请重新登录!!!

确定
取消