「开源」使用 gemini 或者 gpt4 解析视频转成文本～

软件分享
1

开源地址：https://github.com/disingn/cliptalk

demo：https://gpts.nbai.chat/

简单逻辑：使用 ffmpeg 将视频切成视频帧图片 传给 gemini 或者 gpt4v 做解析 最后再进行整理和总结

支持某音和某tok 支持使用本地视频

写的很菜，大佬勿喷

2 个赞
2

从 常规话题 到 软件分享

3

有趣有想法 :+1:

4

图片信息太少了吧。音频和字幕信息呢？一般来说直接导出字幕直接做总结和整理。

5

我刷的短视频，gpt4看了都羞涩

6

想法非常好，但是一个视频的帧数量太多了，用大语言模型的话一个视频用时和模型的使用量太大了

7

万一没有字幕呢 我这个也就只是一个想法 最好的方式是音频转换成字幕同时再使用视频的一些图片结合起来分析

1 个赞
8

是的 这是一个问题 目前也就只能是一个 demo 没办法落地

9

哈哈哈哈

10

拉出音频流，生成字幕呗 :joy:

11

是呀 我知道 但是我没写

12

哈哈哈哈:joy:

13

写啊，生产队的驴都不敢这么歇着 :grinning:

1 个赞
14

我等人给我提pr 写不动了

15

写啊，生产队的驴都不敢这么歇着 :grinning:

16

写啊，赶紧把磨拉起来 :upside_down_face:

17

你不写，有的是帕鲁写，这片大陆最不缺的就是帕鲁

18

我就不

19

后面有时间再写 我这种 go 萌新 写个这个，掉了半个脑袋的头发

20

掉半个转职阿哥帕鲁