本地模型推荐有无

开发调优
1

电脑是24G显存，32G内存，想部署一个本地大模型，用于参加ctf比赛，有没有推荐部署的，是qwen27b还是其他模型。然后框架有没有直接现成的。求各位大佬解答

1 个赞
2

qwen27b 塞不下的话试试bonsai 2

1 个赞
3

qwen 3.8 27b 吧

用4bit量化版本就行了，简单上手的话就用llama.cpp

4

qwen3.5 9B无拒绝，可以试试玩

5

盆栽长任务太烂了，看它论文里除非都是数学类的 One-shot，都不推荐用。

6

最近在B站刷到bonsai2 27B，但是仔细看了下目前只适配40和50系，我这个20系哭晕在厕所； 本地让codex部署了bonsai2 27B，Q8倒是能直接拉到256K的上下文，但是速率只有25token/s上下，在上下文越接近满的情况下，最低输出能到10token/s；感觉还是太慢； 有没有佬跟我一样用2080ti 22G，或者了解过类似方案的？ 我目前的打算是使用codex进行调研和验收，本地模型用来实施，目前唯一担心的就是本地模型在有plan的情况下还能实施歪来，有没有佬用过跟我类似方案，我能直接参考的呀？