srcmini从抓取工具和漫游器中收到大量请求, 这对你的业务没有增值作用吗？
每天有成千上万的爬虫/漫游器访问你的站点, 但很少有帮助。其中一些被认为是恶意机器人或垃圾邮件。
你如何知道所有机器人都在访问你的网站？
好吧, 没有简单的答案。要找出答案, 你需要查看你的Web服务器access.log文件, 并查找”用户代理”列。假设你要列出除Googlebot以外的所有bot, 然后可以在存在access.log文件的Web服务器上运行以下命令。
grep bot access.log |grep -v Googlebot看到这么多, 你感到惊讶吗？
当我检查日志时, 我也是。
[email protected]:nginx# grep bot access.log |grep -v Googlebot | wc -l
616834
[email protected]:nginx#在阻止任何内容之前, 你需要检查它们以确保你没有阻止, 这可能是你的业务所必需的。而且, 有很多方法可以做到这一点, 但是我总是喜欢在边缘将其阻止。
原因很简单-当你根本不需要这些请求时, 为什么要让它们访问Web服务器。
像标题一样, 让我们了解如何使用Cloudflare防火墙阻止你不需要的漫游器。
注意：如果你正在运营大型企业业务, 则可能对Cloudflare机器人管理服务感兴趣。
- 登录到Cloudflare
- 转到防火墙选项卡, 然后防火墙规则并创建防火墙规则
- 输入规则名称
- 选择”字段”作为”用户代理”, “运算符”作为”包含”, 并选择”值”作为你要阻止的机器人名称
- 使用或条件在单个规则中添加多个机器人
注意：上图中提到的机器人仅用于说明。没必要, 它们是坏机器人。
- 然后选择动作作为阻止并部署
- 如果你知道该表达式, 则也可以通过单击”编辑表达式”而不是遵循GUI来编写它。部署后, 你应该在列表中看到新创建的规则, 并且状态应该为ON以生效。
很简单, 不是吗？
你还可以使用防火墙规则做什么？
好吧, 还有更多更多可以提供更好的安全性。让我们看看以下封锁条件。
- 如果请求来自特定的ASN, 则IP地址
- 匹配Cookie, 引荐来源网址, X转发关键字
- 限制向全国提供服务的请求
- 禁用不需要的HTTP方法, 例如PUT, DELETE, OPTIONS, PURGE等。
还有更多选择…
你可以通过GUI构建器执行所有操作, 也可以编写你的表达式。应用更改几乎是即时的。
总结
Cloudflare防火墙规则是一种在不停机的情况下为网络边缘的Web应用程序添加保护的好方法。如果还没有, 你可能还需要考虑使用Cloud WAF以获得更好的应用程序安全性和DDoS和其他在线漏洞的保护。
评论前必须登录！
注册