这AI的爬虫真恶心人啊


想吐血,资源全被这群狗逼占用了 :enraged_face:话说国内有啥法子屏蔽爬虫的方法啊

5 Likes

PoW(Proof of Work,工作量证明)是一种常见的共识机制或验证机制

要求客户端(如用户浏览器)完成一定的计算任务才能访问网站,增加攻击成本

5 Likes

cf 5秒盾,或者waf

3 Likes

cf算了,响应太慢,waf有没有什么好的开源软件推荐啊,现在我只能自己人工看,直接屏蔽这个ip段

2 Likes

基本上屏蔽一次后,隔十来天就又来一波爬虫没日没夜的爬

2 Likes

我去了解下这方面的知识,谢谢佬友

1 Like

这个能把web top10常用payload防住掉,爬虫没试过,还是建议搞个cdn上cf盾。

4 Likes

国内免费用长亭的雷池waf吧,也有机器检测页面

2 Likes

怕吃律师函0.0这是朋友公司的网站

我去瞅瞅,主要还是防这种恶心的爬虫。。骚扰几年了

把爬虫ua禁了这个可以吗?

1 Like

社区:briefcase:免费

1 Like

在哪看aws的ip段是多少啊,基本上都是IDC的ip段来的爬虫,我要把所有IDC厂商的ip段全给屏蔽了 :enraged_face:

上 waf,做 ip 策略

1 Like

全是伪造的ua头啊

1 Like

搜索 nginx 屏蔽恶意爬虫
通过user-agent 来拦截。

1 Like

这上面一波是腾讯家的ip段0.0

1 Like

https://ip-ranges.amazonaws.com/ip-ranges.json

1 Like

感谢佬友,先去给aws干了..

国内的确定后期不吃律师函啊,我看他那个说白了只分个人版和企业版0.0