训练模型和推理速度都大幅提高，50-100倍的样子。
lightrag、graphrag，RAG应该都可以获益？
有现成的英语和多语言模型，用我的一个用例测了一下多语言模型，质量好像不错。
我来看看
3 Likes
期待，赋能
1 Like
检索效果如何
哇，期待
1 Like
我先占一个位置。这是一个值得学习的方向
1 Like
不错，跑在本地，英文模型100多M，多语言400多M
2 Likes
CPU跑的快不快
说的就是CPU
2 Likes
可以可以，最近embedding模型还挺多的，有个snowflake v2，今天部署了一下，感觉还可以，就是模型不小，有1g
2 Likes
什么要求能跑呢，内存多少得
期待一下
等一手中文 Embedding 跟上提速
不太了解，之前跑graphrag，都是用的openai的embedding，embed模型并发都很高，对index的过程影响并不大，都是llm模型的速度和并发限制了我构建索引的速度。
1 Like
宝，请教，本地私域数据分析（学术方向），embedding和llm怎么搭配？（笔记本电脑，配置中等）
embadding的架构革新
意思是数据不能出去？
我默认是windows系统。
本地跑模型常见的有ollama vllm lmstudio等，可以在这个上面跑嵌入式模型，大语言模型要本地跑就有点难受了，这个相当吃性能，我在4070ti上使用ollama qwen2.5 7b q4的效果并不好，所以我还是建议llm这块还是接入api。前端本地可以用且好用的是cherry studio，因为他包含简单的知识库，你可以把文本拖进去，但是不能调整rag的一些参数。
1 Like
谢谢啦，就是数据不出去。
cherry目前还满足不了需求，等待进化吧。
可能是得试试fastgpt了。至于模型的选择，准备去找找跑分排序试试。
fastgpt/dify都可以，可以做workflow，用docker都能很好部署
1 Like
感谢您~