知识稀疏下的RAG,想针对这个场景进行RAG优化,求研究生大佬给一些Idea,想毕业。

信息稀疏下进行RAG的优化?
可以试试 稀疏向量加密集向量 然后加一个 重排序

1 个赞


这个么?已经有人做一个系统的对比研究了。
不算新,没法发文。。。。。

顶一顶贴,有没有大佬回复我一下,想毕业,,

大而泛的意见,既然方法没法创新,改研究对象。听你的意思是必须要发小论文,对吧。如果以小论文为导向,你自己都说缝了,那就MDPI为首的的三大OA,不过关键还是导师,建议直接和导师聊。

能细说什么是改研究对象么?这样怎么发文呢?是类似说针对特定领域的RAG么?

老师无所谓,只要能毕业就行,他不管发什么会的。

什么EI,科技在线都行。

1 个赞

:eyes:你都想到五个模块了这不铁毕业,水个小论文起飞直接,水导有句名言学术和科研是俩回事,感觉你还是很困惑的话把水导的视频从头看一遍

佬,我的问题是怎么水小论文。。

实验还没做,,因为感觉做完出结果了,也没法水小论文毕业

我这个坑进的比较晚,能想到的方向,,大概都被发的差不多了,,

每年还有很多新发的论文,但有一些看方法和以前的差不多,就是换了个Motive,重新给方法起了个名字,

1 个赞

可以考虑解决一下:聊天记录RAG与大模型的结合,

目前这个问题我跟了很久了,实在是很困扰的一个问题,也看了很多大佬的方案,没有很理想的,这个问题能解决了,就可以很轻松的模仿出来一个数字自己了。

1 个赞

:rofl:他们开源码了嘛,没开那就是好方向啊

已经开过题了,不太好改。

而且这个,不太好用RAG实现把。RAG主要解决的是LLM中不存在相关知识的问题,也有可能是知识过期

你的需求是数字自己,,更类似于微调LLM把,按我的理解

基本都开源了,现在很少有不开源的代码

1 个赞

不要在乎这个,你都有想法了,那就是对工作量的问题了。你说做完之后的结果也不够发小论文的,那就多个方法,多个对象,堆起来,工作量够,不学术造假,肯定能发小论文呀。

1 个赞

但是我的想法,每一个小点都是别人已经发过的东西,,

我的想法就是缝起来,是一个工程项目,这咋能发文呢,创新性都没得写,

A好,B好,那A+B更好。你要发NSC?别太在意创新点

我的想法不是搞数字自己

最初的目的只是想让大模型理解我的聊天记录的内容,帮我分析和总结一些事情

但是聊天记录这个东西就很复杂,比如一个群里,很多东西是混着聊的,再比如一件事件可能跨了几个聊天窗口和几个时间段……

最开始我的想法也是微调,但是后来我发现,这个微调就跟现在大模型版本更新一样,他的时间节点是静止的,要想更新,就得不停的去微调更新。

最后还是觉得RAG这个方向如果能搞定,说不定可以把模型微调的算力和时间都省下来了。

1 个赞

我不在意创新点,只要能毕业就行,,

但是水文不是也要写创新点么??我看到的水文基本都是这样的啊,,

A有了,B有了,A+B没有,这不是创新点吗

1 个赞

emmm,那这个可能要在构建知识库上下功夫了,,

现有的知识库基本存的都是文档块+索引。不太好索引这个东西。。

感觉可能在构建知识库的时候,就需要attention,指定到底是指的什么事情。

1 个赞

这样投EI能中么,得怎么包装一下啊。。