我有一个本地大模型Vibe开发的的架构的想法,不知道有没有可行性。

就是以当前的项目为依据,分层次的调用不同的模型,第一次可以走云端的API对项目进行分析。
然后后续就开始慢慢接入本地模型。并且再加一个本地的针对该项目的训练。

  1. 这样尽可能的把问题在本地解决掉

新人的想法,不知道有没有搞头呢?

2 个赞

哦~~

1 个赞

之前试过,效果很烂很烂,小模型能承担的任务必须要拆分的很小很小,而且上下文和注意力的原因,小模型也干不了稍微复杂的任务,写一个小功能都可能很多bug,而且开支很大,可以当作玩具试试看

1 个赞

有那个拆任务的Token,云端模型顺手就给功能做了

1 个赞