窝牛号

DifFace——一种扩散模型来提高人脸图片分辨率与清晰度

前期我们介绍过不同的模型来提高图片的分辨率与清晰度的文章,本期我们介绍另外一种可以提高人脸与整体图片分辨率与清晰度的模型--DifFace,从模型的名字可以看出,此模型主要用于人脸部分的清晰度与分辨率的提高,当然,代码中也同样提供了整体图片分辨率与清晰度的模型

使用opencv实现深度学习的图片与视频的超分辨率

USRNet端到端深度学习网络实现图片视频的超分辨率与清晰度

DifFace——扩散模型提高人脸图片质量

通过扩散模型学习一对高质量与低质量的人脸图片,并从低质量的人脸图片来预测高质量的人脸图片,模型如下图

DifFace模型

https://huggingface.co/spaces/OAOA/DifFace https://GitHub.com/zsyOAOA/DifFace

模型已经开源,当然也可以直接在huggingface体验。虽然模型只是用来检测图片并提高图片的分辨率与清晰度,当然我们也可以从视频中,提取每帧图片,并利用此模型改善每帧图片 的质量,最后再把图片合并起来形成视频,以来提高视频的分辨率与清晰度。

从结果来看,模型不仅提高了图片的清晰度,且大大提高了图片的分辨率

DifFace——代码实战

代码已经开源,我们可以直接在GitHub上面来运行代码,当然在Google colab中我们可以利用Google免费的GPU,本期代码实现在Google colab中。

@title **Install Miniconda3** 39;Input&39;off&39;DifFace&39;off&34;&34; !python inference_difface.py --aligned --in_path [image folder/image path] --out_path [result folder] --gpu_id [gpu index] &34;&34;/content/DifFace/testdata/cropped_faces&34;*.png&34;/content/result_aligned/restored_faces&34;&34; !python inference_difface.py -t 200 started timestpes for DifFace, default 100 --in_path [image folder/image path] --out_path [result folder] --gpu_id [gpu index] &34;&34;/content/DifFace/testdata/whole_imgs&34;*.png&34;*.jpg&34;/content/result_unaligned/restored_image") for im_path_in in im_path_list: im1 = imread(str(im_path_in)) im_path_out = out_dir / im_path_in.name im2 = imread(str(im_path_out)) display(im1, im2)

这里添加-t,-s参数,以便让模型可以提高整体图片的质量,同样来运行inference_difface.py脚本,我们的低质量图片保存在whole_imgs文件夹中,模型运行后的图片保存在restored_image文件夹中。

从运行的结果来看,模型可以有效的提高人脸的图片质量,不仅提高了图片的分辨率,且大大提高了图片的清晰度。利用此模型我们可以来修复老电影,把低分辨率的视频提高到高分辨率,并提高视频的清晰度,然后可以利用我们介绍的图片转彩色模型,再把视频转换到高清的彩色视频。

本站所发布的文字与图片素材为非商业目的改编或整理,版权归原作者所有,如侵权或涉及违法,请联系我们删除

窝牛号 wwww.93ysy.com   沪ICP备2021036305号-1