求助各位大佬有没有抓取twitter推文的经验!!

有个需求是想根据twitter用户id去抓取推文,用什么语言都可以。目前进展是少量可以抓取,但是大量短时间内爬,会触发response status 429 Too Many Requests: Rate limit exceeded,使用了代理池之后还是会触发。。哪位大佬有经验啊。。求助!!

推特本身有限制吧,

coze可以免费用

coze还能抓推嘛,实时的?

但是coze是有限量的,不能当做爬虫用

之前用scrapy搞过,也写了一些中间件来处理预置请求和异常切换处理,代理肯定是必须的,但是我是买的代理,最终爬了几十万用户数据信息和推文,不要用免费代理试试

贴图为证:

挂代理池并且用帐号池呢

话说X的数据不是可以直接买API的吗,这个能拼车吗

之前用过chrome插件名字记不得了,可以爬取twitter的所有图片,估计改改抓文本也行

推特api已经全面付费了,如果不追求时间,可以用rsshub的Twitter爬取,通过Twitter cookie获取的,并且也有获取上限,账号超过限制就不能浏览推文了

666… 大佬 介意分享一下吗 感谢

没试过

同求海外靠谱代理池啊佬~~

如果用登录用户的,马斯克限制了每个用户可以查看的帖子数量,具体多少,需要测试了


2023年的好像是

请教一下如果抓取Twitter,rsshub需要自建吗,还是用官方实例就好了

看现在风控程度吧,你试试官方能不能访问,我现在都是自建,用的自己的twitter token

请问一下这个Twitter token需要定时手动更新吗,如果要,大概的频率是怎么样的

不需要,我没更新过,你网页抓的,只要你网页的没退出登录,就有效