我是14500买的64G M4-mini并没有买pro
因为我不在乎多等几秒
所以吧
能省就省些，但是64G内存是必须得搞的，否则跟3090拉不开差距没有意义。
体验后 你大概率会放弃 我基本搭了一套你描述的内网互联的基于 deepseek 的 ai 平台 但我现在主要用 Gemini 的免费 api
老哥试过deepseek r1 蒸馏70B嘛，速度多少嘞
主要是，我想要弄的推理啥的，不能受约束，包括但不限于，研究免杀，不方便公开的代码解读，涩涩 用API的话很多东西都不能干
四卡要服务器板了，可以看下超微的，我看有一层发了服务器配置单，可以照着弄。
四卡方案没什么性价比可言，双卡的话可以选择魔改卡加台PC即可，主板两个接口注意规格统一就行，pcie4+pcie4
70B Int4起码要60G+，双卡2080ti起不来的，我本地用A800 80G跑的AWQ
自己用的话，你微调个32B够够的了
那没办法 如果你有很高的隐私需求的话 70b 4bit 大概是 底线
大概是每秒3个汉字吧
趁v100 16g还没涨价，用v100 sxm2组 
有点心动，感觉这个速度也不是不能接受 
我先去验证一下70B符不符合我需求
这个我刷闲鱼有刷到过，但是我没看懂怎么玩 
肯定用了内存的，显存不够会自动申请内存，我没去看他视频，如果有功耗截图的话，你可以留意下nvidia-smi功耗显示是否正常。
v100 pcie版本的很贵，买sxm2版本。用一块sxm转pcie的板子，或者直接买支持sxm2接口的主板。当正常显卡用
服务器要是不会玩的话，其实最简单的方案是买二手准系统呀，反正自己随便玩玩，看你多少预算，直接买人气高的就行，人气高意味着你出问题能查到的资料多，一般戴尔啊，鲲鹏啊大把，反正你放公司机架服务器应该问题不大，噪音的话，我觉得还好，并且一般而言这玩意是能调的
在不满意那就搞eatx或者atx大机箱，需要注意的是2080ti是pcie3，玩玩的话，没必要花那么多钱
准系统噪音非常大，建议看下超微h12si主板/泰安s8030主板，游戏显卡二手，CPU epyc二代32核，内存要买服务器专用的内存条，普通内存条不行，电源两个1250w，声音会小非常多，开放式机箱显卡最高60度。然后电费的话，我的4卡2080ti，本地部署了一个翻译服务，每天差不多要跑8个小时，日常电费大概在25-40度电。
一天25到40度电？？？ 
买V100 sxm2版本16G然后4卡可行吗，看别人的对比这个好像比2080ti好一些，性价比高一点
肯定会很吵，所以我没搞，我现在搞主机就很吵
噪音都能调整，这不是问题，你要是能折腾自组肯定更好
这卡大船靠岸之后就一直有奸商再炒，运气好是还能折腾，运气不好就是在坑小白，对于部分人还存在性价比，很久没看这玩具价格了，随便看了下900左右，你再买板子，要是折腾散热又是一笔钱，林林总总算下来，我只能说你要是又折腾的那个实力可以玩
家庭用电，没有单独统计服务器的用电