在一些视频聊天软件中，我们可以看到很多人的背景特别的漂亮，甚至我们都怀疑是不是真实地来到了某个地方，本期介绍一下Mediapipe人像分割（RVM人像分割）
MediaPipe Selfie Segmentation 对场景中的突出人物进行分割。它可以在智能手机和笔记本电脑上实时运行。
模型在这个解决方案中，MediaPipe 提供了两种模型：一般模型和景观模型。两种模型都基于MobileNetV3，并进行了修改以提高效率。通用模型在 256x256x3 (HWC) 张量上运行，并输出代表分割掩码的 256x256x1 张量。景观模型类似于通用模型，但在 144x256x3 (HWC) 张量上运行。它比一般模型具有更少的 FLOP，因此运行速度更快。请注意，再将输入图像输入 ML 模型之前，MediaPipe Selfie Segmentation 会自动将输入图像的大小调整为所需的张量维度。
代码实现import cv2 import mediapipe as mp import numpy as np mp_drawing = mp.solutions.drawing_utils mp_selfie_segmentation = mp.solutions.selfie_segmentation 背景颜色也可以使用其他的照片，要求与原照片尺寸一致 39;6.jpg& mask图片颜色 file = &39; with mp_selfie_segmentation.SelfieSegmentation(model_selection=0) as selfie_segmentation: image = cv2.imread(file) image_height, image_width, _ = image.shape 在背景图像上绘制分割图 生成纯色图像,白色的mask图纸 fg_image[:] = MASK_COLOR fg_image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) bg_image = np.zeros(image.shape, dtype=np.uint8) bg_image[:] = BG_COLOR output_image = np.where(condition, fg_image, bg_image) cv2.imshow(&39;,output_image) cv2.waitKey(0) 39;selfie0.png& 图片人物抠图: IMAGE_FILES = [] 背景颜色也可以使用其他的照片，要求与原照片尺寸一致 bg_image = cv2.imread(&39;) MASK_COLOR = (255, 255, 255) 39;1.jpg& 在处理之前需要转换图片到RGB颜色空间 image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) results = selfie_segmentation.process(image) 为了改善边界周围的分割，可以考虑在 results.segmentation_mask进行双边过滤 condition = np.stack((results.segmentation_mask,) * 3, axis=-1) > 0.1 fg_image = np.zeros(image.shape, dtype=np.uint8) bg_image = np.zeros(image.shape, dtype=np.uint8) 39;output_image&39;selfie00.png& gray cap = cv2.VideoCapture(0) cv2.waitKey(2000) bg_image = cv2.imread(&39;) with mp_selfie_segmentation.SelfieSegmentation(model_selection=1) as selfie_segmentation: while cap.isOpened(): success, image = cap.read() print(image.shape()) if not success: print(&34;) continue image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB) image.flags.writeable = False results = selfie_segmentation.process(image) image.flags.writeable = True image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) condition = np.stack((results.segmentation_mask,) * 3, axis=-1) > 0.1 if bg_image is None: bg_image = np.zeros(image.shape, dtype=np.uint8) bg_image[:] = BG_COLOR output_image = np.where(condition, image, bg_image) cv2.imshow(&39;, output_image) if cv2.waitKey(5) & 0xFF == 27: break cap.release()视频实时分割的代码结构跟图片分割类似，主要需要注意的是打开摄像头后，会自动有一个cap的图纸尺寸，这里我们读取的背景图片尺寸需要与摄像头的尺寸一致
首先我们打开摄像头，并加载一张背景图片，从摄像头中获取视频帧图片，对图片进行翻转与颜色空间的转换操作后，使用selfie_segmentation.process(image)函数进行人像的分割，最后实时显示分割后的效果，当然也可把视频保存下来
mediapipe系列文章：
颠覆2D对象检测模型，MediaPipe 3D对象检测还原真实的对象特征
MediaPipe Face Detection可运行在移动设备上的亚毫秒级人脸检测
MediaPipe虹膜检测：实时虹膜跟踪和深度估计
利用深度学习进行Web浏览器视频电话会议中的背景更换
利用机器学习，进行人体33个2D姿态检测与评估
利用机器学习，进行人手的21个3D手关节坐标检测
利用机器学习进行人脸468点的3D坐标检测，并生成3D模型
MediaPipe 集成人脸识别，人体姿态评估，人手检测模型
本站所发布的文字与图片素材为非商业目的改编或整理，版权归原作者所有，如侵权或涉及违法，请联系我们删除
热门信息
阅读 ()
1 注册微信号怎么注册第二个阅读 ()
2 怎么把照片变成卡通头像阅读 ()
3 手机越充越少电怎么解决