deepseek开源DeepSelect

在github开源 链接放不了 自己去看吧

2 个赞

至少说一下内容或者总结一下啊:joy:不然这快讯板块只剩一个“快”了

8 个赞

没办法 开源的东西太深奥了 没法形容 ai说是高性能TopK CUDA算子库

DeepSelect 是 DeepSeek Sparse Attention (DSA)(DeepSeek V3.2、DeepSeek V4 和 DeepSeek V4.1 模型中使用)和采样器中使用的 TopK 内核的高性能实现。与原始内核相比,它实现了 2 到 20 倍的速度提升torch.topk。

8 个赞

哦

那就是说 如果我温度设置为0 就没有提升!!! :rofl:

不是。0 温度只会改变采样器的工作模式,不影响 DSA 的 TopK 优化。

这个说的是稀疏注意力里面的 topk 吧 和那个采样参数两码事