Sora文生视频大模型
随着Sora文生视频大模型的爆火，文生视频大模型必定是各大人工智能公司竞争的主要领域。虽然 Sora模型的视频效果绝对是领先地位，但是Sora模型目前还没有开放使用，我们并无法直接使用。前期我们也介绍过字节发布的MagicVideo2文生视频模型，但是MagicVideo2并没有提供开源或者试用地址。
MagicVideo2文生视频大模型
本期我们介绍一下字节发布的另外一个文生视频模型AnimateDiff-Lightning，其AnimateDiff-Lightning模型已经上线到hugging face，任何人都可以直接在线试玩。
AnimateDiff文生视频模型
AnimateDiff-Lightning模型
AnimateDiff-Lightning模型是一个轻量级的文生视频大模型，其速度比原始AnimateDiff模型要快10倍以上。此模型基于AnimateDiff SD1.5 v2进行蒸馏，并提供step1，step2，step4，step8四种类型的模型，并提供了开源的预训练模型供大家直接使用，主要分为写实模型与卡通模型。
realistic写实模型主要有5个，可以根据自己的喜好，挑选任意一个模型使用即可。
epiCRealismRealistic VisionDreamShaperAbsoluteRealityMajicMix RealisticAnime & Cartoon卡通模型包含如下6个模型
ToonYouIMPMistoon AnimeDynaVisionRCNZ Cartoon 3dMajicMix ReverieAnimateDiff-Lightning模型在线试玩
每个模型都可以直接在hugging face上面下载使用，当然AnimateDiff-Lightning模型也在hugging face上面提供了试玩地址，直接打开官方链接，输入自己需要生成的视频prompt，这里注意的是其prompt是英文格式。选择base model以及视频呈现方式与模型step，点击run等待一会便可以得到自己的视频了。
AnimateDiff-Lightning不同视频呈现方式
AnimateDiff-Lightning模型也定义了视频的呈现方式，包含缩放，偏移，旋转等。让生成的视频更具镜头感。
ComfyUI使用AnimateDiff-Lightning模型
AnimateDiff-Lightning模型也可以直接在comfy UI中使用，请按照如下步骤：
下载animatediff_lightning_workflow.json文件，并导入到comfyui 安装nodes 下载AnimateDiff-Lightning模型的预训练模型，并放置在models/checkpoints文件夹 下载AnimateDiff-Lightning模型animatediff_lightning_Nstep_comfyui.safetensors并放置到/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/文件夹下ComfyUI使用AnimateDiff-Lightning模型
AnimateDiff-Lightning模型除了可以使用文生视频外，还可以直接使用视频到视频生成模型，此模式支持输入一段视频，然后模型根据模型的输入内容，使用control net实现检测人物动作，并根据选择的模型生成对应的视频。
代码使用AnimateDiff-Lightning模型
hugging face上线的在线试玩模型，并没有支持太多的模型，目前只支持epiCRealism与ToonYou模型，其他的模型并没有开放使用，若要完全使用AnimateDiff-Lightning，也可以使用代码来实现文生视频的生成，其代码实现如下：
import torch from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler from diffusers.utils import export_to_gif from huggingface_hub import hf_hub_download from safetensors.torch import load_file device = &34; dtype = torch.float16 step = 4 34;ByteDance/AnimateDiff-Lightning&34;animatediff_lightning_{step}step_diffusers.safetensors&34;emilianJR/epiCRealism& 选择自己的模型. adapter = MotionAdapter().to(device, dtype) adapter.load_state_dict(load_file(hf_hub_download(repo ,ckpt), device=device)) pipe = AnimateDiffPipeline.from_pretrained(base, motion_adapter=adapter, torch_dtype=dtype).to(device) pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing=&34;, beta_schedule=&34;) output = pipe(prompt=&34;, guidance_scale=1.0, num_inference_steps=step) export_to_gif(output.frames[0], &34;)AnimateDiff-Lightning模型已经支持hugging face代码，base模型可以选择任意一个介绍的模型，运行以上代码就可以直接生成对应的视频了。
https://github.com/guoyww/AnimateDiff/tree/main?tab=readme-ov-file https://huggingface.co/ByteDance/AnimateDiff-Lightning 更多使用教程，请参考hugging face链接本站所发布的文字与图片素材为非商业目的改编或整理，版权归原作者所有，如侵权或涉及违法，请联系我们删除
热门信息
阅读 ()
1 注册微信号怎么注册第二个阅读 ()
2 怎么把照片变成卡通头像阅读 ()
3 手机越充越少电怎么解决