窝牛号

stable diffusion AI精准绘图——ControlNet控件的安装与使用

上两期图文教程,我们分享了stable diffusion webUI AI绘图的安装步骤,以及stable diffusion webUI 汉化插件的安装,与相关stable diffusion webUI 的相关参数解析,本期我们就介绍一下controlNet 控件的安装与使用。

首先说一下,stable diffusion webUI 相关的软件已经更新,安装完成后,会提示pytorch CUDA版本与torchvision CUDA版本不一致的问题,这里可以安装如下pip 进行相关PyTorch CUDA与torchvision CUDA版本的安装即可。ControlNet控件的安装与使用,我们需要使用ControlNet控件来模仿如下图片的人体姿态,生成AI图片。

RuntimeError: Detected that PyTorch and torchvision were compiled with different CUDA versions. PyTorch has CUDA Version=11.7 and torchvision has CUDA Version=11.8. Please reinstall the torchvision that matches your PyTorch install. 当安装完成,运行脚本提示以上错误时,请安装如下库文件。 pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchtext==0.14.1 torchaudio==0.13.1 torchdata==0.5.1 --extra-index-url https://download.pytorch.org/whl/cu117

ControlNet控件的安装与使用

第一:stable diffusion webUI的安装

在安装ControlNet控件前,我们需要运行stable diffusion webUI

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git %cd stable-diffusion-webui !git clone https://github.com/Stability-AI/stablediffusion repositories/stable-diffusion-stability-ai 放置模型文件 stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/downloads/openpose34;https://huggingface.co/lllyasviel/Annotators/resolve/main/body_pose_model.pth&34;https://huggingface.co/lllyasviel/Annotators/resolve/main/hand_pose_model.pth&34;https://huggingface.co/lllyasviel/Annotators/resolve/main/facenet.pth" to /content/stable-diffusion-webui/extensions/sd-webui-controlnet/annotator/downloads/openpose/facenet.pth

模型运行完成后,便会重新生成一个带人体姿态检测的图片,前后对比可以看到,模型已经学习到了相关人体的姿态,并根据同样的prompt与人体姿态,重新生成了一个带人体姿态的,跟输入图片类似的图片。

当然,模型运行完成后,会自动生成一个人体姿态的图,有了这个人体姿态,我们完全可以使用这个图片作为输入图片,预处理哪里直接选择none即可。这里可以看到,预处理模型是为了检测人体姿态。

以上,便是本期介绍的controlnet控件的安装与使用,当然controlnet控件还包含了很多其他的功能,生成草绘图片,草绘图片上色等等功能,这个我们后期进行分享。

本站所发布的文字与图片素材为非商业目的改编或整理,版权归原作者所有,如侵权或涉及违法,请联系我们删除

窝牛号 wwww.93ysy.com   沪ICP备2021036305号-1