数据采集代码中使用ip代理池,本地启用一下代理从网页获取cookie后,本地关闭代理,本地项目能正常采集;但是服务器也用该cookie就一直提示ip被拦截,有没有佬指点一下原因
服务器采集一直返回:
Response Headers:
null=[HTTP/1.1 302 Moved Temporarily]
Server=[xxx]
Connection=[close]
Set-Cookie=[xxx_ssid=7b34fcbc-cf6a-42c7-8a6e-a55199db3e6b; expires=Sun, 08-Sep-24 01:40:35 GMT; Max-Age=1800; domain=.xxx.com; path=/]
Content-Length=[0]
Date=[Sun, 08 Sep 2024 01:10:35 GMT]
Location=[https://hip.XXXXX.com/forbidden?id=ea442650a6c6408a9f641cb608653adb ]
Response Body:
2 个赞
服务器的IP被黑名单了吧
但是服务器采集的时候也设置了http代理,用的天启代理
请求参数是否一致?是否有浏览器指纹识别反爬?服务器不挂代理是否正常?
服务器试了下 不开代理的时候可以正常采集,挂了代理就不行了;
大佬这种怎么解决呀 谢谢
指纹识别反爬应该没有处理,http请求的时候只设置了代理ip、端口号、user-agent、cookie