佬们求一个archive.org(wayback machine)的网站下载器

开发调优
,
1

佬们，求一个能把wayback machine上保存的网页快照下下来（静态网页）的工具

我已经试过几个工具了都不太行：

  • Wayback Machine Downloader（Ruby CLI 及其 Fork）

    这个倒是能下，但是下载下来的只有纯文字html，而且大量链接都是失效的，我还是想要一个相对完整的网站，可以忽略图片图床之类的以及动态的东西，但最起码前端三大件和一些基础的网站资源能下下来，最起码本地能直接开静态网页查看。（仓库链接：hartator/wayback-machine-downloader: Download an entire website from the Wayback Machine.）

  • Waybackpack（Python CLI）

    这个倒是挺符合要求的，但是没法递归下载整个网站，只能单独下载你指定那个URL的index.html，浏览器能正常渲染显示。之后在它的issue和pr里找到一个解决方案，但是我自己本地合并了之后又加了一个命令行参数依然不太行（据作者说是分隔符匹配的问题）。（仓库链接：jsvine/waybackpack: Download the entire Wayback Machine archive for a given URL.）

  • waybackpy（Python 库 & CLI）以及自定义脚本：使用CDX API + wget/httrack

    这些个我琢磨的不多，相当于直接搞爬虫了，我写的脚本包括用httrack基本上全卡在请求cdx接口上了，疯狂超时，可能是我代理ip不太行吧…

  • wayback machine downloader（付费工具，网页）

    这个倒是真能完整搞下来整个网站快照，但是免费demo只有四个网页能正常看，其余都被这工具把html里的内容替换成付费链接了。他这下载一个网站收19刀感觉有点贵，还是先看看有没有开源或者免费工具吧。（网站链接：时光机下载工具 - $12/全域名 - 免费试用）

    跪求佬们支点招，有没有工具或者一些点子，实在不行就还是只能自己搞一个了（但我真的好懒 :sob: :sob: :sob:）

2

自己写或者找人写

3

那不还是自己写么，就是有点懒想找个现成工具 :sob:

4

佬们有人支招么，没有的话我去stackoverflow问问，再没有就只能自己写了呜呜呜 :sob:

5

写好了吗 我也想使用 把推删除的帖子保存下来

6

请问找到解决办法了没

7

在测试了，可以了就发给佬们试试，不过代理是一定要开的