自动画遮罩功能

pasanonic

day270010678 发表于 2026-7-15 22:42
通过网盘分享的文件：
链接: https://pan.baidu.com/s/12lH1u11mEnDDYnV75_ZK5g?pwd=t8i8 提取码: t8i8  ...

下载你baidu盘的覆盖一样   我是直接cmd ,然后在dos窗口 pip装的   没有在df目录装  我试试进dfl里

day270010678

pasanonic 发表于 2026-7-15 22:48
下载你baidu盘的覆盖一样   我是直接cmd ,然后在dos窗口 pip装的   没有在df目录装  我试试进dfl里 ...

是按照到你dfl的python环境里面，setenv.bat里面的python环境。不是你自己电脑的python

pasanonic

day270010678 发表于 2026-7-15 22:56
是按照到你dfl的python环境里面，setenv.bat里面的python环境。不是你自己电脑的python ...

大佬牛B  好了,自动画了  就是线条不太圆润,头部意外的有些多余,不过我要求不高,没那么追求精细

day270010678

Usage in Python
Exhaustive list of labels can be extracted from config.json.

id        label        note
0        background       
1        skin       
2        nose       
3        eye_g        eyeglasses
4        l_eye        left eye
5        r_eye        right eye
6        l_brow        left eyebrow
7        r_brow        right eyebrow
8        l_ear        left ear
9        r_ear        right ear
10        mouth        area between lips
11        u_lip        upper lip
12        l_lip        lower lip
13        hair       
14        hat       
15        ear_r        earring
16        neck_l        necklace
17        neck       
18        cloth        clothing

这是模型的对应的位置，假如不要嘴巴区域标签，就修改下，把
    INCLUDE_LABELS = {1, 2, 4, 5, 6, 7, 10, 11, 12}
    EXCLUDE_LABELS = {3, 8, 9, 13, 14, 15, 16, 17, 18}  这EXCLUDE_LABELS 里面的10放到上面的标签里面就行了

day270010678

pasanonic 发表于 2026-7-15 22:58
大佬牛B  好了,自动画了  就是线条不太圆润,头部意外的有些多余,不过我要求不高,没那么追求精细

线条不够圆润是因为我为了照顾内存小的电脑，如果要高圆滑的话，就修改下我源码
第一个量化模型 — 你用的是 model_quantized.onnx，量化会损失精度。model.onnx 更准确
第二，修改下采样，先放大 logits 再 argmax，而不是先 argmax 再放大
第三加入点高斯模糊
修改OcclusionDetector.py文件
第一个位置

1.         self.model_path = model_path or str(
   
2.             Path(__file__).parent / 'models' / 'model.onnx')

复制代码

这里模型修改下

第二个位置修改静态方法_logits_to_segmap

1.     @staticmethod
   
2.     def _logits_to_segmap(logits, h, w):
   
3.         seg = logits[0].astype(np.float32)
   
4.         seg_upscaled = np.zeros((seg.shape[0], h, w), dtype=np.float32)
   
5.         for c in range(seg.shape[0]):
   
6.             seg_upscaled[c] = cv2.resize(seg[c], (w, h), interpolation=cv2.INTER_LINEAR)
   
7.         seg_map = np.argmax(seg_upscaled, axis=0).astype(np.uint8)
   
8.         return seg_map

复制代码

第三个地方静态方法mask_to_polys

1.     def mask_to_polys(mask, min_area=100, epsilon_factor=0.005):
   
2.         blurred = cv2.GaussianBlur(mask, (7, 7), 0)
   
3.         _, smoothed = cv2.threshold(blurred, 128, 255, cv2.THRESH_BINARY)
   
4.         contours, _ = cv2.findContours(smoothed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)
   
5.         polys = []
   
6.         for contour in contours:
   
7.             if cv2.contourArea(contour) < min_area:
   
8.                 continue
   
9.             epsilon = epsilon_factor * cv2.arcLength(contour, True)
   
10.             approx = cv2.approxPolyDP(contour, epsilon, True)
    
11.             pts = approx.reshape(-1, 2).astype(np.float32)
    
12.             if len(pts) >= 3:
    
13.                 polys.append(pts)
    
14.         return polys

复制代码

经过上面三处修改就会变成圆润的了，完整的文件代码是下面的

1. import multiprocessing
   
2. import numpy as np
   
3. import cv2
   
4. from pathlib import Path
   
5. 
   
6. 
   
7. class OcclusionDetector:
   
8. 
   
9.     CMD_LOAD = 1
   
10.     CMD_DETECT = 2
    
11.     CMD_SHUTDOWN = 3
    
12.     RSP_LOADED = 10
    
13.     RSP_RESULT = 11
    
14.     RSP_ERROR = 12
    
15. 
    
16.     INCLUDE_LABELS = {1, 2, 4, 5, 6, 7, 10, 11, 12}
    
17.     EXCLUDE_LABELS = {3, 8, 9, 13, 14, 15, 16, 17, 18}
    
18.     HEAD_LABELS = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18}
    
19. 
    
20.     MODEL_INPUT_SIZE = 512
    
21. 
    
22.     def __init__(self, model_path=None):
    
23.         self.model_path = model_path or str(
    
24.             Path(__file__).parent / 'models' / 'model.onnx')
    
25.         self._req_q = multiprocessing.Queue()
    
26.         self._rsp_q = multiprocessing.Queue()
    
27.         self._proc = None
    
28. 
    
29.     def start(self):
    
30.         if self._proc is not None and self._proc.is_alive():
    
31.             return
    
32.         self._proc = multiprocessing.Process(
    
33.             target=self._subprocess_run,
    
34.             args=(self._req_q, self._rsp_q, self.model_path),
    
35.             daemon=True,
    
36.         )
    
37.         self._proc.start()
    
38.         rsp = self._rsp_q.get(timeout=30)
    
39.         if rsp[0] == self.RSP_ERROR:
    
40.             raise RuntimeError(f"OcclusionDetector load failed: {rsp[1]}")
    
41. 
    
42.     def detect(self, img, landmarks=None):
    
43.         if self._proc is None or not self._proc.is_alive():
    
44.             self.start()
    
45.         self._req_q.put((self.CMD_DETECT, img))
    
46.         rsp = self._rsp_q.get(timeout=60)
    
47.         if rsp[0] == self.RSP_ERROR:
    
48.             raise RuntimeError(f"OcclusionDetector detect failed: {rsp[1]}")
    
49.         return rsp[1]
    
50. 
    
51.     def shutdown(self):
    
52.         if self._proc is not None and self._proc.is_alive():
    
53.             self._req_q.put((self.CMD_SHUTDOWN,))
    
54.             self._proc.join(timeout=5)
    
55.             if self._proc.is_alive():
    
56.                 self._proc.terminate()
    
57.             self._proc = None
    
58. 
    
59.     @staticmethod
    
60.     def _subprocess_run(req_q, rsp_q, model_path):
    
61.         try:
    
62.             import onnxruntime as ort
    
63.             sess = ort.InferenceSession(model_path, providers=['CPUExecutionProvider'])
    
64.             rsp_q.put((OcclusionDetector.RSP_LOADED,))
    
65. 
    
66.             while True:
    
67.                 cmd = req_q.get()
    
68.                 if cmd[0] == OcclusionDetector.CMD_SHUTDOWN:
    
69.                     break
    
70.                 elif cmd[0] == OcclusionDetector.CMD_DETECT:
    
71.                     try:
    
72.                         img = cmd[1]
    
73.                         result = OcclusionDetector._run_detection(sess, img)
    
74.                         rsp_q.put((OcclusionDetector.RSP_RESULT, result))
    
75.                     except Exception as e:
    
76.                         rsp_q.put((OcclusionDetector.RSP_ERROR, str(e)))
    
77.         except Exception as e:
    
78.             rsp_q.put((OcclusionDetector.RSP_ERROR, str(e)))
    
79. 
    
80.     @staticmethod
    
81.     def _run_detection(sess, img):
    
82.         h, w = img.shape[:2]
    
83.         input_img = OcclusionDetector._preprocess(img)
    
84.         logits = sess.run(None, {'pixel_values': input_img})[0]
    
85.         seg_map = OcclusionDetector._logits_to_segmap(logits, h, w)
    
86.         return OcclusionDetector._seg_map_to_polys(seg_map, h, w)
    
87. 
    
88.     @staticmethod
    
89.     def _preprocess(img):
    
90.         blob = cv2.dnn.blobFromImage(img, 1.0 / 255.0,
    
91.                                       (OcclusionDetector.MODEL_INPUT_SIZE,
    
92.                                        OcclusionDetector.MODEL_INPUT_SIZE),
    
93.                                       swapRB=True, crop=False)
    
94.         return blob.astype(np.float32)
    
95. 
    
96.     @staticmethod
    
97.     def _logits_to_segmap(logits, h, w):
    
98.         seg = logits[0].astype(np.float32)
    
99.         seg_upscaled = np.zeros((seg.shape[0], h, w), dtype=np.float32)
    
100.         for c in range(seg.shape[0]):
     
101.             seg_upscaled[c] = cv2.resize(seg[c], (w, h), interpolation=cv2.INTER_LINEAR)
     
102.         seg_map = np.argmax(seg_upscaled, axis=0).astype(np.uint8)
     
103.         return seg_map
     
104. 
     
105.     @staticmethod
     
106.     def _seg_map_to_polys(seg_map, h, w):
     
107.         head_mask = np.zeros((h, w), dtype=np.uint8)
     
108.         for label in OcclusionDetector.HEAD_LABELS:
     
109.             head_mask[seg_map == label] = 255
     
110. 
     
111.         include_mask = np.zeros((h, w), dtype=np.uint8)
     
112.         for label in OcclusionDetector.INCLUDE_LABELS:
     
113.             include_mask[seg_map == label] = 255
     
114. 
     
115.         kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
     
116.         include_mask = cv2.morphologyEx(include_mask, cv2.MORPH_CLOSE, kernel, iterations=1)
     
117.         include_mask = cv2.morphologyEx(include_mask, cv2.MORPH_OPEN, kernel, iterations=1)
     
118. 
     
119.         exclude_polys = []
     
120.         for label in OcclusionDetector.EXCLUDE_LABELS:
     
121.             label_mask = (seg_map == label).astype(np.uint8) * 255
     
122.             overlap = cv2.bitwise_and(label_mask, head_mask)
     
123.             if np.sum(overlap > 0) == 0:
     
124.                 continue
     
125.             overlap = cv2.morphologyEx(overlap, cv2.MORPH_CLOSE, kernel, iterations=1)
     
126.             overlap = cv2.morphologyEx(overlap, cv2.MORPH_OPEN, kernel, iterations=1)
     
127.             exclude_polys.extend(
     
128.                 OcclusionDetector.mask_to_polys(overlap, min_area=80, epsilon_factor=0.003))
     
129. 
     
130.         return {
     
131.             'include': OcclusionDetector.mask_to_polys(include_mask, min_area=300, epsilon_factor=0.002),
     
132.             'exclude': exclude_polys,
     
133.         }
     
134. 
     
135.     @staticmethod
     
136.     def mask_to_polys(mask, min_area=100, epsilon_factor=0.005):
     
137.         blurred = cv2.GaussianBlur(mask, (7, 7), 0)
     
138.         _, smoothed = cv2.threshold(blurred, 128, 255, cv2.THRESH_BINARY)
     
139.         contours, _ = cv2.findContours(smoothed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_TC89_L1)
     
140.         polys = []
     
141.         for contour in contours:
     
142.             if cv2.contourArea(contour) < min_area:
     
143.                 continue
     
144.             epsilon = epsilon_factor * cv2.arcLength(contour, True)
     
145.             approx = cv2.approxPolyDP(contour, epsilon, True)
     
146.             pts = approx.reshape(-1, 2).astype(np.float32)
     
147.             if len(pts) >= 3:
     
148.                 polys.append(pts)
     
149.         return polys
     

复制代码

WaveBedo

牛逼！
先收藏了
暂时用不上，
等以后需要用到的时候，再回来看