几个月之前在油管和阿b都看到很多教怎么本地部署AI的教程,
弄了下来玩了玩,有chatglm3-6b,llama2-13b的各种量化变种,
最后对接酒馆玩卡片AI人,刚开始真的很震撼很刺激,
尤其是配合tts语音 和 stable diffusion实时生成人物表情图.
但是说实话我3080-10G能部署的模型现阶段还是智商和显存欠费.
你说用claude chatgpt那些吧,又没隐私又被警告.
瑟瑟永远是玩家第一生产力阿.谁不想有AI小妾呢.
那么问题来了,最近Mac Mini 64G出来了,大概17000能拿下,有没有搞头?
能不能用它来运行量化的llama3-70b之类的.
或者是本地部署到底什么方案比较好,请教各位大佬.
qwen2.5 72b
有审查吗,能瑟瑟AI角色扮演吗
本地部署的怎么查
本地部署不查,但是模型70b显存顶不住,不知道什么方案比较好呢
我是用clewd，去用类脑求封区的cookie，体验还行就是有时需要重试，虽然多是pro但是有很多429
之前我也用过,这样不稳定玩的不痛快哎
我在搞AI声音克隆，如果能合到一起，很爽
claude3.5
去年5月份开始玩，玩了10个月不到就电子阳痿了。如果是专门花17000买mac玩，那还是用银联卡买Claude pro来的划算，银联卡稳定不怕封，退款流都封不了 
我玩了一个星期就脱敏了.一是因为本地部署的回复不够真实,二是显存不足爆显存之后很慢.Claude不封?瑟瑟噢.
一开始用new bing，之前用slack的Claude和酒馆sgp反代的官网Claude，还有白嫖的各大新平台的Claude。可以说遇上了一段很舒服的封锁薄弱期，所以玩的时间很久
去discord区的求封区，一堆耐封王都是银联卡，一个月都封不了。虚拟卡和野卡特别不稳定，封的挺快。
封了会退钱?
我是不理解为什么api都还要审查而且还能审查,难怪国内禁止外面的AI.
很显然是有监控和隐私问题的.
第一次玩AI角色扮演我就用酒馆的默认魔法女卡,太惊艳了,有第一次玩quest看VR AV的感觉
Claude主打的是安全可控的AI，而人的xp是多样的，什么几个黑人大喊在大庭广众下轮4岁幼女，什么断肢重口血腥玩法都有 ，随着Claude被施加越来越强的安全审查，就转向api，后来也没了，然后玩酒馆，这时候Claude 2刚出，token上限也变长100k，但是被限制的没有一开始玩的感觉了，一开始感觉对方的角色就像有人格一样。到后来要自己使用人物卡和世界书的时候我就不玩了。
玩的倒不是api，玩的是酒馆+clewd，也就是使用网页端来充当api服务，所以会被审查
MAC的内存可以当显卡的显存用吗？没用过mac求告知
还是买claude的api玩吧，本地模型你顶多算能跑，上下文长度根本不够，有的角色卡自己就能占几万token
我之前试过4卡4090跑量化的qwen72b，也只能跑个3w的上下文
