3 个赞
现在好像没看到有现成能直接跑 GLM‑4 + vLLM 的轮子。要么先不用 vLLM，直接 transformers/别的推理框架跑 GLM‑4，要么等后面有大佬给 vLLM 补上 GLM‑4 支持再说。
3 个赞
我最近看到一些nano-vllm的开源仓库 就是vllm的极简版 主要复现vllm KV cache的pageattention解决方案 不知道能不能沿用nano-vllm的思路 补上GLM-4支持
3 个赞
这个思路肯定能玩，就是得自己多折腾一点
nano‑vllm 那套把 KV cache / page‑attention 搬出来了，照着那个加个 GLM‑4 支持应该能跑，不过相当于自己造半个 vLLM 了。
4 个赞
我是想朝着通用的vllm集成一下 做一个开源的仓库 将huggingface上不支持的模型权重文件 尽可能的集成到一个版本里面 这样大家就都能用上了
听起来挺不错的，通用 vLLM fork 这个方向很有意思，我这边也没看到有现成方案 到时候记得在这儿贴下仓库链接，大家一起帮你测测。
没问题 到时候多给我点star就行啦哈哈
2 个赞