窝牛号

RVM最新AI人像抠图技术,代码已经开源

在计算机视觉处理中,人像抠图有着重要的意义,当然PS技术也能达到类似的效果,其实本质也是代码的实现,前2期的视频,我们使用了RVM人像抠图技术来实现人像的抠图,效果视频如下:

人工智能人像抠图来进行清华虚拟AI人华智冰抠图

实时动态视频背景抠图技术,让没有绿布的你也可以制作绿幕大片

RVM是一款功能强大的实时视频人像抠图技术,其由字节跳动项目组开发。不同于现有神经网络将每一帧作为单独图片处理,RVM使用循环神经网络,在处理视频流时有时间记忆。RVM可在任意视频上做实时高清抠像。在Nvidia GTX 1080Ti上实现4K 76FPS和HD 104FPS。开源地址:

GitHub.com/PeterL1n/RobustVideoMatting

我们可以从GitHub上下载其源代码,下载完成后,在项目文件夹里面可以建立一个test.py文件,当然在开始本代码之前需要安装如下第三方库

1

av==8.0.3

2

torch==1.9.0

3

torchvision==0.10.0

4

tqdm==4.61.1

5

pims==0.5

安装完成后,需要下载其项目预训练好的模型,当然大家可以在GitHub上面找到其分享的模型地址进行下载,其模型包含2种预训练模型:

rvm_mobilenetv3.pthrvm_resnet50.pth

rvm_mobilenetv3.pth模型比较小,速度快,大家可以按照此模型进行尝试,当然,若电脑配置较高,可以使用rvm_mobilenetv3.pth模型

前面的准备工作完成后,在test.py文件中输入如下代码:

import torch from model import MattingNetwork from inference import convert_video model = MattingNetwork(&39;).eval().cuda() 34;resnet50&39;rvm_mobilenetv3.pth& or rvm_resnet50.pth convert_video( model, 39;input.mp4& A video File or an image sequence directory. output_type=&39;, 34;video&34;png_sequence&39;output.mp4& File path if video; directory path if png sequence. output_video_mbps=4, A hyperparameter to adjust or use None for auto. seq_chunk=12, 39;mobilenetv3&39;rvm_mobilenetv3.pth&39;415809648-1-208.mp4&39;output1234.mp4& Green background. rec = [None] * 4 Adjust based on your video. with torch.no_grad(): for src in DataLoader(reader): Cycle the recurrent states. com = fgr * pha + bgr * (1 - pha) cv2.imshow(&39;,com) writer.write(com) Load the model. model = torch.hub.load(&34;, &34;) 34;resnet50& Converter API. convert_video = torch.hub.load(&34;, &34;)

本站所发布的文字与图片素材为非商业目的改编或整理,版权归原作者所有,如侵权或涉及违法,请联系我们删除

窝牛号 wwww.93ysy.com   沪ICP备2021036305号-1