变声技术现在怎么样了?佬们距离为自己制作可爱的声音皮套还有多远?

ASR现在是真的很强,不过不是变声技术不讨论

TTS这方面,我个人感觉综合效果最好的还是GPT-SoVITS(情感专精 IndexTTS2),但是从使用水平上(还原度、活人感、音色覆盖面、电颤音、性能、易用性、样本强依赖等等)上面都还不太行,也有一年没更新了,没感到技术进步 :melting_face:

VC更是沉默的羔羊,我个人只用过RVC,以RVC为基座的各种变声器,B站上乱七八糟一大堆,说好用吧,技术也没有进步多少,收费倒是着急。转歌声,不说处理歌声有多麻烦,就算是干净的歌声,音域覆盖不全电音撕裂是常态,音高曲线的优化算法也不见踪影,还得让人来修音(话说修音技术感觉发展也很迟缓),最终效果只能忍受瑕疵,连优化到完美的路子都没有

虚拟歌姬算是音色创造比较成熟的路子了,无奈闭源,应用场景局限

到底什么时候才能等到音色技术发展到可以将音色的情感等等声音细节都解析调制,能制造定制化的音色啊,变声或者单纯合成声音都行啊,这样我就可以给自己换一套超酷的可爱声音了(或者嘴替)!

以上内容均来自个人经验,最希望是我太落伍,创造声音的最前沿到底是怎么样的呢?

4 个赞

有没有佬讲一下音色技术的相关内容的,求做做科普 :heart:

1 个赞

不敢想象站内的女装大佬换上软妹的变声器会是什么场景

7 个赞

minimax 的 有这个功能好像,通过自然语言生成不同风格的音色

相似的功能在很多大模型平台都有上线,但目前这种通过自然语言创造的声音还只是玩具,实用性非常有限:face_exhaling:

tts不能零样本输出,声音细节也不丰富,现在llm赋能的ai语音(大概豆包语音),才稍微好一点

rvc吃显卡,要人的声音配合,还要调试

要是想给智能体捏个声音,tts或者rvc都不太行,捏声音有什么更好的技术吗:thinking:

1 个赞

我最近试了几个VC2、龙猫、QwenTTS几个TTS的零样本输出,感觉就想在抽卡,很难每次都输出理想的音频。佬友可以关注一下B站upHigh_Logic的在研项目如Libsona。

1 个赞

有没有什么适合拿来玩游戏用的变声工具呢

tts 这一块 scaling up 了 输出更稳定 质量更好 few-shot模仿的更好 但大多都不会放出来给你用 一方面是安全问题 另一方面是要赚钱
vc不太清楚 感觉大都是rvc换皮

1 个赞

早就关注了,这么久一点动静没有 :joy:

1 个赞

这个技术也用在AI视频配音上,但是现在AI配音的视频也存在一楼提出的各种问题 :melting_face:

1 个赞

minimax(收费)和qwen tts都有prompt捏声线的功能来着,忘了叫什么了
在b站看搞oc的人发过视频

1 个赞

Google新发的Gemini 3.5 Live Translate效果不错,果然声音合成技术在进化啊

确实感觉很久没有什么质变了,用于没什么情绪波动的时候很舒服,情感波动稍微大点就不太行

有没有什么好的变声器 感觉市面上的都是卖的软件 专业调声什么的 感觉不靠谱