241012三花AI日报:轻松替换视频背景;生成提示词的提示词;无需编程的提示词优化 WebUI;视觉语言模型的新标杆

三花 AI 一觉醒来发生了什么?欢迎阅读 :point_down:

:clapper: 开源工具 video-background-removal:轻松替换视频背景
:star2: ChatGPT 官方用于生成提示词的提示词
:bust_in_silhouette: FLUX.1 LoRA:生成角色一致的真实与卡通照片
:computer: DSPyUI:无需编程的提示词优化 WebUI
:dart: 谷歌推出 Ovis 1.6 Gemma 2 9B:视觉语言模型的新标杆


开源工具 video-background-removal:轻松替换视频背景

video-background-removal 是一个开源的小工具,它利用 BiRefNet 模型进行视频背景的分割,并使用 moviepy 库输出结果。用户可以用任何颜色、图像或视频替换输入视频的背景,实现视频背景自由。

ChatGPT 官方用于生成提示词的提示词

OpenAI 在其官方文档中新增了Prompt generation ,详细解释了之前发布的 Playground Generation 功能的工作原理,并附带了相关提示词。提供了两种模式——结构化提示词和 Schema 模式,未来可能会使用 DSPy 等工具进行优化。完整提示词可以在文档中查看,老规矩太长就不贴了。

FLUX.1 LoRA:生成角色一致的真实与卡通照片

一个有趣的 FLUX.1 LoRA 能够生成四张角色一致的真实照片,并在中间叠加一个该角色的卡通形象。
这种不知道能否配合PulID之类的使用,感觉非常适合发小红书呀,感觉也可以复刻一个可以指定角色的工作流

DSPyUI:无需编程的提示词优化 WebUI

DSPy 是一种提示词优化技术,它通过编程方式替代传统的基于字符串的提示词工程。DSPy 允许用户通过内置模块定义如 ChainOfThought、ReAct 等提示词技巧。

DSPyUI 提供了一个 WebUI,使得用户无需编程即可通过 DSPy 优化、微调及评估提示词。

谷歌推出 Ovis 1.6 Gemma 2 9B:视觉语言模型的新标杆

Ovis 1.6 Gemma 2 9B 是谷歌 Gemmaverse 模型家族的最新成员,它是一个视觉语言模型。该模型在多项基准测试中的平均分表现出色,不仅与商业模型 Claude-3.5 比肩,还超越了开源模型 Qwen2vl-7b。


14 个赞

dspyui这个是真的牛,dspy会像comfyui一样慢慢成熟的,还有谢谢三花

1 个赞

例行看报 :grinning:

来了来了,每日看报

来看报 :hugs: :hugs:

来了,每日看报

感觉叠加卡通后发小红书挺方便的