GPT4o 使用全新的 tokenizer

[lueluelue]

https://platform.openai.com/tokenizer

[Coker]

是省 token 的意思？

[wo_zu_long (我秦始皇？)]

是的，专门练了个新的，吞吐量更大，词元数更少，估计是做了压缩了，deepseek也是这个思路

[lueluelue]

应该是

[starlin]

和之前啥区别

[lueluelue]

哇，这么好的吗

[lueluelue]

不知道，coming soon

[baipiaodang (C)]

那不是更nice了

[OpenAI]

那这些oneapi也得更新吧？
去给oneapi提issue，省点钱

[lueluelue]

哈哈哈哈哈！！对啊

[OpenAI]

要是用的4-turbo的tiktoken去计费4-o的，就给号商赚到了

[lueluelue]

发现商机
官转官转

[Meow]

新 tokenizer 中有很多垃圾 o200k_base

[lueluelue]

这个先开源了？

[lueluelue]

看不懂
这个有什么优势或劣势吗

[Meow]

topic/86477 没有清洗，影响不大。

[lueluelue]

哦哦，这样

[Brantfang]

如果新的 tokenizer 切分的词元数少了也许会影响模型的收敛性，如果使用压缩虽然量小了，速度就会慢。需要折中或者找到一种新的方式。

[handsome (大帅哥)]

不知道有没有色色限制