写了一个LINUX DO资源贴爬虫，方便找资源

[baipiaodang]

要被制裁了

[battlehawk (zhan鹰)]

应该不至于吧，只是爬取了帖子，并没有对原帖内容做处理，链接是指向l站的

[cy920820 (亚瑟王)]

多久爬一次？

[battlehawk (zhan鹰)]

2小时一次，增量爬取，不会对l站造成压力

[cy920820 (亚瑟王)]

但是最终还是要进到帖子里去，这样应该还是会卡级别吧

[jamais.vu (不知归时)]

这个RSS订阅也十分可以

[stevessr]

discourse自带，

[delph1s (威震天)]

跳原链接确实原帖内容和下载资源不会越级

不知道有些标题适不适合出现

[228780186 (dolinuxdo)]

我只能说很牛！

[bangCz (Big Bang)]

牛牛牛阿

[jamais.vu (不知归时)]

这就是所谓的万物皆可.rss

[fei0098 (飞)]

思路是 捕获aff的html内容吗 遇到已保存的就停止

[battlehawk (zhan鹰)]

差不多，不过discourse自带搜索rest api，直接用rest api爬取了，然后对资源做一定的筛选

[Ceb]

挂了么？

[battlehawk (zhan鹰)]

应该没有吧

[Tsu1m]

牛的老哥 用上了 收藏永不停止

[yy404 (开心超人)]

mrak

[quanqiu002 (Bot)]

mark

[y1285012 (Ryan)]

大佬太强了

[CherryBuns (巴黎花街的哈士奇)]

为啥我用不了这个呢，我用的「NetNewsWire」这个RSS软件