juan11
1
最近站点的 RSS 被 cf waf 波及,导致时断时续,即使用了站内老哥的 deno 代理方案也是经常 403。
所以在本地写了一个定时任务,用脚本绕过 cf waf 获取 rss。
服务部署在 cf,给大家试用下。
我本人也在用这个方案,有问题一般会第一时间发现。其他佬有问题也可以反馈。
服务地址: https://linuxdorss.longpink.com/
如果有版权问题可以删掉。
- 更新频率:10分钟
- 提供全部 rss 和分类 rss(和站内的分类一样)
- 没有提供 tag 类的 rss,因为 rss 原始文件没有 tag 标签,所以无法实现;如果通过逐个爬 tag rss 成本太高(tag 太多了)
- rss 保留 24 小时内的内容(主要是为了避免爬取失败导致遗失部分内容,保留多一点内容可以保证 rss 阅读器下次继续拉取)
服务不一定稳定,建议和站点原始 rss 或者 deno 代理的方案一起订阅。
后续站点 rss 的 waf 问题解决后,可能也会移除这个服务。若移除会提前通知。
36 Likes
Harp
(Harp)
3
我隐约记得用 worker 写爬虫过盾会被 cf 发邮件警告来着,当心封号啊
juan11
4
deno 能爬,就是经常 403,要隔一段时间才能爬成功(可能是切 IP 了)。所以更新不会那么及时。
juan11
5
我是本地爬,只是把 xml 文件部署到 worker 上。这种应该没事。
freshrss可以通过cookie登录抓取,但是可能会有过不了盾的问题
juan11
10
个人喜好吧,交易分类的帖子希望及时一点,再搭配 apprise 进行通知。
1 Like
等级贴的初衷就是不被抓吧,用不了也是正常
这个,不太可能吧,freshrss通过cookie登录的,除非说本地拿不到cookie了。不过这么搞,cookie很容易失效,需要自己去维护,挺麻烦的
1 Like
dogelee
(dogelee)
18
我建议始皇rss域名和主要域名分开
省的规则影响了
1 Like