零基础快速生成字幕——gemini-2.0-flash-exp

有的时候你可能需要某个视频的字幕,可是网上在线的字幕转录工具要么需要付费(或者签到搞积分之类的)、要么质量很差;而本地的ATT模型需要一段时间的部署和一台性能良好的电脑——这时候拿着一台轻薄本的你该怎么办?

恭喜你,你可以开始吹谷歌牛逼了——得益于gemini-2.0-exp支持原生音视频输入输出,你可以很轻松的使用它在线转录

你可以给他一些简单的指令,或者直接给他发一段其他的字幕作为范本,他就可以转录的很好

经过我的测试,它的效果和最新的whisper-large-v3-turbo差不多,日常使用的话完全足够

他的最大优势是:

  1. 速度快——使用谷歌服务器,性能极其强大,远远高于PC
  2. 使用简单——只需要登录Google AI Studio,然后告诉他指令,同时上传文件即可
  3. 完全免费——gemini-2.0-exp一天可以免费使用1500次,完全足够个人使用

小提示:我记得Google上传文件的大小限制在100MB,如果你的视频超过了这个大小,你可以将他的音频提取出来,然后仅上传音频,这样就能很大程度减小文件大小

如果你想直接将他转换成srt文件,可以在他转录之后继续给予提示,直到他输出完全正确的格式即可

或者说你需要他翻译成中文,那就告诉他;中英双语也行,就看你怎么说了

gemini对中文适配不是特别好,有条件的话最好用英文给他指令

还有,有的时候有一定概率触发审核,可以在右边选项那里往下滑,把那个蓝色的Edit safety settings点进去关掉;要是还不行那就没办法了,只能找比较安全的音视频转录

Google AI Studio网址
https://aistudio.google.com/prompts/new_chat

可以顺便看看我关于gemini-2.0-exp的其他帖子

下面是我的例子

27 个赞

感谢分享,这方法挺好的

3 个赞

牛哇牛哇,我之前为了加字幕都得纯手肝还蛮累得。
话说超过100MB的文件是不是可以通过调用google的FILE API保存然后再通过API让gemini生成字幕?我记得官方文档里有说过

1 个赞

转录跟youtube比较有没有显著提升质量
更新:试了下,上传了一个小时的音频,他并不是直接输出转录后的整个文件比如srt,而是文本形式的一个字符一个字符的展示,速度比较慢10分钟才转录几分钟,输出还有字符限制导致只能转录几分钟就停止,需要不停的提示才能继续转录。

感谢分享,有的时候确实需要加字幕,之前感觉麻烦没折腾,现在可以研究一下了

1 个赞

厉害 今天看到几个大佬都在推Gemini也要试起来

1 个赞

大文件好像可以上传到google drive。

不过google drive免费只有15g

1 个赞

感谢佬友分享!!

1 个赞

感谢 分享 点赞

1 个赞

可以的,或者是上传到Google Drive或者Google Cloud,不过我还没试过

都差不多,youtube自带的经过几次升级,现在已经够用了

我上传了一个m4a试了一下,时间戳还是不太行tieba_087

1 个赞

我没注意这个,刚试了下,上传了一个小时的音频,他并不是直接输出转录后的整个文件比如srt,而是文本形式的一个字符一个字符的展示,速度比较慢10分钟才转录几分钟,输出还有字符限制导致只能转录几分钟就停止,需要不停的提示才能继续转录。

学到了 Mark

1 个赞

感谢大佬教程

1 个赞

感谢无私分享

1 个赞

mark好东西

1 个赞

不错哦 没想过还可以转录字幕

1 个赞

謝謝分享
希望多出佳作

1 个赞