【转载】字节发布扩散语言模型,号称每秒2000+tokens,可在线体验

字节跳动Seed团队发布实验性扩散语言模型Seed Diffusion Preview。据介绍,其目标是以结构化的代码生成为实验领域,系统性地验证离散扩散技术路线作为下一代语言模型基础框架的可行性。

实验结果显示,Seed Diffusion Preview代码推理速度可达到2146 tokens/s,速度相比同等规模的自回归模型提升5.4倍。

在线DEMO:Hello, welcome to experience Seed Diffusion Preview
官方介绍:字节跳动Seed


2 个赞

O.o
基于扩散的的文本生成模型?
之前好像有一个来着 :melting_face:

试了下,效果不咋的 :melting_face:

1 个赞

此前扩散模型有 Gemini 和 Mercury 等,字节这也是实验性质吧,效果确实不咋地

太拉了,输出一堆重复字符*

gemini diffusion,也很垃圾,大概只有2.0 flash的水平

:tieba_006:

8 个赞


你就说快不快吧

好奇这种扩散模型的使用场景是什么

实验性的,以后未必会走这个技术道路但是需要做点探索

1 个赞

之前试过其他家的扩散模型,质量在GPT3 的水平。唯一优势就是速度快。

我试了下没遇到重复生成,是不是因为我是让它生成代码

速度是真的快,然后对话没有记住上下文