先说一下需求,爬虫,数据量大概在5000万~2亿条。
风控:单IP测试时,1000条左右就封IP了。没有并发。
请求方式:post单条请求,无多余的请求。
想要操作比较简单的代理池,比如服务商自动给我切IP,或者是隧道代理应该都行。或者有佬针对我这种需求,有比较好的建议,也都是可以的。因为数据量比较大,到时候肯定会并发爬,所以不能灵活切换IP的大概率是不行。
IP要求:只要国内IP。国外IP用不了。
可以给多个结果,我自己进行对比。
大佬如果有方案没有代理池也是可以聊聊的~
先说一下需求,爬虫,数据量大概在5000万~2亿条。
风控:单IP测试时,1000条左右就封IP了。没有并发。
请求方式:post单条请求,无多余的请求。
想要操作比较简单的代理池,比如服务商自动给我切IP,或者是隧道代理应该都行。或者有佬针对我这种需求,有比较好的建议,也都是可以的。因为数据量比较大,到时候肯定会并发爬,所以不能灵活切换IP的大概率是不行。
IP要求:只要国内IP。国外IP用不了。
可以给多个结果,我自己进行对比。
大佬如果有方案没有代理池也是可以聊聊的~
mark一下
国内的代理感觉比较贵?
我简单找了几个,好像国外的更贵 咱也不懂
快代理无Aff,有按时间付费,每次请求换ip