使用 AI 大模型，一键生成高清故事短视频

9 天前
 abi
Github 项目地址： https://github.com/alecm20/story-flicks 如果觉得不错的话，欢迎点个🌟，谢谢～

这个项目可以通过输入简单的一句话，系统就可以通过 LLM 解析主题，生成一个包含多个段落的完整的故事。并且通过图像模型生成符合主题的多张图片，以及调用语音、字幕服务等生成对应的语音和字幕，最终自动生成一个完整的包含故事剧情、语音、字幕、图片等多模态元素的完整视频。同时生成的视频也支持中英日韩等多种语言。

对于视频创作者来说可以快速生成一个质量不错的视频，提升视频创作效率；对于教育工作者等，可以方便的创建具有教育意义的故事短片给儿童观看等。

欢迎大家试用～
2476 次点击
所在节点    分享创造
20 条回复
huguadao
9 天前
技术小白问，这个咋部署，部署在哪里，最低配置要求多少？
abi
9 天前
@huguadao 这个目前可以在本地部署，后端是 python ，前端是 react 项目，对配置要求很低，因为大模型是用的阿里云或者 OpenAI 等的 api 服务。你可以看一下 GitHub 的 readme 的说明。等之后我可能会部署一个在线版，只需要提供 API key 就可以用了。
oldlamp
9 天前
请问可以使用本地的大模型么？比如 Ollama 运行的本地 llava 之类的？
leonme
9 天前
看来 AI 还任重道远，基本是不可用的状态🐶
abi
9 天前
@oldlamp 现在还不支持本地的模型，后面我研究下，文本模型应该可以支持。图片模型的话需要的电脑配置较高，可能先不做支持。
abi
9 天前
@leonme 是说生成的效果不好，没办法正式使用吗？
leegradyllljjjj
9 天前
这感觉是个 ppt 吧，
abi
9 天前
@leegradyllljjjj 现在视频里的图像素材只支持图片。ai 生成视频片段的效果还不是很稳定，成本也比较高，后面测测看，效果可以的话会接入进来
08110920
9 天前
@abi 能否接入下 siliconflow ，能免费用
abi
9 天前
@08110920 我调研一下看哈，合适的话加进来
abi
9 天前
@oldlamp 你好，现在加了 Ollama 中的文本模型的支持，我用 qwen2.5:14b 测了，可以正常使用。不要使用太小的模型，要不然生成的 json 格式不对。
08110920
9 天前
只能本地部署？ 不能部署到服务器？
abi
9 天前
@08110920 现在我是在本地开发&测试的，要部署到服务器的话，需要对后端项目做一些改造，估计需要过些天才能支持。
leonme
9 天前
@abi #6 是的，效果聊胜于无
cnrting
8 天前
现在图文生视频基本处于骗钱阶段
abi
8 天前
@cnrting 视频的效果还不是很稳定，但是已经有不少实际的应用场景了
je11yfish
8 天前
图间 IP 一致性？
abi
8 天前
@je11yfish 现在没有做处理，目前的一致性方案也没有太稳定的，等之后观察吧
abi
8 天前
@08110920 siliconflow 的 API 支持加上了，但是不同模型的格式不太一致，我用 qwen2.5 和 flux-dev 测了可以的。其他的可能会报错
je11yfish
7 天前
@abi 不做一致性基本上只能给很小很小的孩子用了。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://tanronggui.xyz/t/1108796

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX