怎么能让大模型跑长文?

我装了个 ollama 下了好几个模型( llama3.2-vision:11b 、deepseek-coder-v2:16b 、llama3.1:8b 等)。
给他几个html、css,js文件,让他给我改改,其中一个 5000 多行的css 文件,他都读不完5000多行代码,其次不能把我给他的意思前后连贯起来(没有chatgpt等那些在线ai那么机灵,一般的问题也都能应对,细节上差意思),他给我各种扯皮,只给我一部分代码(说无法在此回答中全部展示优化后的代码)。
是模型问题?还是要怎么调?还是硬件( 3090 )不行?怎么解决这种情况?
我试过在线的 chatgpt 、deepseek 、阿里通义等都不能搞长文的

5 个赞

刚刚给我开通了

mannix/deepseek-coder-v2-lite-instruct - Ollama 中文为例,上下文47k
按4字符1token估计,上下文是不够的。
可以考虑openwebui的知识库功能;或把api填到cusor里,应该会有所改善。
但不可能跟御三家比效果的……

GPT 和 Claude 可以长文,以前用 opus 读过一万行的代码,帮我逆向了某金融网站。
Claude 满血版 200K 上下文。

本地模型试试RWKV吧,有超长token的上下文版本