本地部署大模型求推荐

国产替代
1

目前搞了个服务器，想部署一个大模型主要用于项目需求和日常聊天和agent，并且希望大模型能够处理pdf和图像。
服务器参数型号：
DELL
CPU：2颗Intel Xeon金牌6230R(单颗26核心52线程2.1GHZ-4.0GHZ)
内存：256G
系统盘：960G SSD固态
数据盘：8TB
显卡：RTX4090 48G*2块
电源：1400W
但是自己没有本地部署经验，求大佬们给个推荐，部署什么模型什么参数的最好？

8 个赞
2

可以先下一个ollama，去huggingface找几个开源的模型下载下来镜像跑一下试一试，比如qwen，DeepSeek，说来说去就这些。

3

用sglang部署qwen3.6-27b-fp8

4

我最近刚部署了几个分别是：

  • qwen27b
部署详情 
量化版：Q5_K_M （多模态）
上下文：256K
并发：1
显存占用：41GB左右
速度大概：30t/s
备注：基础对话、简单代码可行
  • gpt-oss-20b
部署详情 
量化版：Q4_K_M （文本模型）
上下文：128K
并发：1
显存占用：16GB左右
速度大概：130t/s
备注：基础对话可行、代码工具调用不行
  • gemma-26b
部署详情 
量化版：Q5_K_M （多模态）
上下文：256K
并发：1
显存占用：30GB左右
速度大概：80t/s
备注：基础对话可行、代码工具调用不行
4 个赞
5

4090不支持NVlink，无法发挥出双卡的实力 :rofl:

6

双4090没办法交火的话是不是意味着还是只能用48g显存，那双卡的优势在哪呢

7

推理框架，不要使用 ollama 这种个人测试使用的框架，本地部署实用性难说，没有微调，估计能用的地方很少

2 个赞