之前发过ai+知识库,后来才明确自己的需求,是想在自己学习和做笔记的过程中辅助。
目前通过obsidian+chat_md插件实现了基本想要的效果,现在有一个问题就是gpt4的8k上下文经常不够。
因为涉及到gpt对文档内容的扩充,讲解,甚至是对多个文档的内容进行总结或者转换成问答卡片的形式。
想问一下有什么本地部署的模型可以推荐,依然还是只有16g显存的4080,或者是较为低价的选择例如gpt3.5-16k(不知道幻觉严不严重)或其他的性价比更高的大语言模型。
先提前感谢各位大佬了
之前发过ai+知识库,后来才明确自己的需求,是想在自己学习和做笔记的过程中辅助。
目前通过obsidian+chat_md插件实现了基本想要的效果,现在有一个问题就是gpt4的8k上下文经常不够。
因为涉及到gpt对文档内容的扩充,讲解,甚至是对多个文档的内容进行总结或者转换成问答卡片的形式。
想问一下有什么本地部署的模型可以推荐,依然还是只有16g显存的4080,或者是较为低价的选择例如gpt3.5-16k(不知道幻觉严不严重)或其他的性价比更高的大语言模型。
先提前感谢各位大佬了
咋实现的
From #develop:qa to 开发调优