窝牛号

Stable Video Diffusion图片转视频——Stability AI开源视频模型

我们前期介绍过Stable Diffusion,stable diffusion模型是Stability AI开源的一个text-to-image的扩散模型,其模型在速度与质量上面有了质的突破,玩家们可以在自己消费级GPU上面来运行此模型。

文生图大模型已经火了很长一段时间了,但是随着需求的不断增加,对文生视频的需求也越来越高,上期介绍的字节发布的MagicVideo2,可以进行文本到视频的生成,只是由于没有开源代码或者线上链接进行试玩。而Stable Video Diffusion是Stability AI开源的视频生成模型,可以进行试玩。

Stable Video Diffusion,顾名思义便是视频生成模型,这里的Stable Video Diffusion是图片转视频模型,是Stability AI社区开源的一个文本或图片转视频模型。

Stable Video Diffusion模型支持输入一张图片,然后生成3-30帧/s 的视频,生成的视频长度在2-5s之间。其模型生成的视频质量还是相当的高的。模型有2种尺寸:

SVD:该模型经过训练,可以在给定的图片上,生成14帧/s的,分辨率为576*1024的视频

SVD-XL:该模型跟SVD采用了同样的模型结构,只是在模型训练后,可以生成25/s 的视频

该模型采用了文本到图片预训练,视频预训练以及高质量视频微调三个步骤打造了Stable Video Diffusion模型,其代码已经在GitHub上开源,可以在本地或者云端部署。

https://stability.ai/stable-video https://github.com/Stability-AI/generative-models/tree/main

本站所发布的文字与图片素材为非商业目的改编或整理,版权归原作者所有,如侵权或涉及违法,请联系我们删除

窝牛号 wwww.93ysy.com   沪ICP备2021036305号-1