自动爬取图床图片并自动转存到支持webdav的网盘中(采集站关闭了,自行替换其他采集站地址)

30s一次,目前运行正常(不建议过于缩短时间,会被风控,风控后不用管,过一段时间会自动接着采集)
上图:
huggingface后台:

网盘中:

Dockerfile代码:

FROM node:14

WORKDIR /app

COPY package.json .
RUN npm install

COPY . .

EXPOSE 8080

CMD ["node", "index.js"]

README.md 最后加

app_port: 8080

index.js

发不了html

将文件下载到本地复制代码就行
index.txt (6.7 KB)

细分类自己可以提前设置,比如动漫,风景啥的,自动爬取到相应文件

可以修改你想爬取的类别(我已经全部加上了,你可根据喜好进行替换)
网址:
https://tuapi.eees.cc/

将上面的const IMAGE_API_URL = 'https://tuapi.eees.cc/api.php?category={dongman,fengjing,biying,meinv}&type=302' 中的{dongman,fengjing,biying,meinv} 进行替换即可

package.json

{
  "name": "random-image-links",
  "version": "1.0.0",
  "description": "Random image link generator and uploader",
  "main": "index.js",
  "dependencies": {
    "node-cron": "^3.0.0",
    "node-fetch": "^2.6.1",
    "webdav": "^4.11.2",
    "axios": "^0.27.2"
  }
}

.gitignore

node_modules/
links.txt
index.html

后台变量

WEBDAV_URL
# 你的URL链接

WEBDAV_USERNAME
# 你的账号

WEBDAV_PASSWORD
# 你的密码

支持webdav网盘推荐:
无限云

37 Likes

太强了吧宝贝!

3 Likes

存完之后呢?有啥用

2 Likes

自己搞一个图床自己用,这个图床快要关门了 :wink:

4 Likes

@eggacheb 我看了看爬取的图片平均最大400kb,这个网盘起始加邀请就有30G,完全能够全部扒下来 :wink:

1 Like

我还以为要用坚果云了呢(

2 Likes

用无限云存完全够了,不放心后面自己转入稳定的网盘就行了

2 Likes

好 一会试试

2 Likes

我3秒爬一次 目前还没风控 看看能撑多久

2 Likes

我现在调的10s没啥问题

1 Like

搞了个代理池版本的 可以愉快的爬了

2 Likes

这个网盘是免费的吗

2 Likes

随后学习一下

2 Likes

是免费的

1 Like

可以的,没问题

1 Like

手机下个文件管理器:heavy_plus_sign:直接能连接

1 Like

技术大佬牛b

1 Like

不错不错,有空试试

1 Like

太厉害了,真是大佬。

1 Like

我爬太狠了?

1 Like