星级打分
平均分:NAN 参与人数:0 我的评分:未评
20230814学习笔记_遮罩 正在学习遮罩，看了滚石大佬的教程加自己琢磨实践，略有心得分享给其他新手们避坑，也是抛砖引玉，请大神们指正。 今天的故事，始于英语原版软件遮罩部分的坑人排序（见下图） 因为前面切图切脸基本都是按1234排序来操作的，所以到了遮罩这里，略看了一下教程（一看就会一做就错，老毛病了），就理所应当的按顺序来操作了，这是不对的，因为遮罩部分是多分支的，可以结合最上的思维导图来看： 一、遮罩先做和后做的区别 （一）先做，就是在训练模型之前，先训练遮罩，然后把结果写入到图片中，训练模型的时候结合训练遮罩范围选项，可以针对重点有的放矢。 （二）后做，也就是跳过遮罩训练这一步，先训练模型，然后在合成（merge）阶段，按x键，从预训练遮罩或者你下载的遮罩（比如镇坛之宝）中选一个并根据实际效果进行应用。 总结：先做和后做没有绝对的好坏，看你的需求而言。 不会遮罩，也没特殊需求，自己弄着玩的。就不要折腾了，后做就好； 不会遮罩，又有特殊需求，自己画的不好，反而不如后做的更好。要么学一下，要么就别钻牛角尖追求完美，选择后做； 会遮罩，没特殊需求，都一样； 会遮罩，有特殊需求，当然是自己画的好。 比如：后做时，合成阶段用的通用模型，一般会认为头发、眼镜等是遮挡物，会给你忽略掉。你要是需要src保留眼镜，这就属于特殊需求，通用模型就不那么好用，合成时可能出现眼镜不全或时有时无，会加大合成调整的工作量。 二、遮罩先做的具体步骤 遮罩后做直接跳过，没得说。只说下遮罩先做，又可以分为两个分支。 ///dst（src）的意思是，dst也可用，src也可用。前一步是dst，后一步也得是dst，一条线下来的。/// （一）全脸应用的通用遮罩 XSegGeneric) data_dst （src）whole_face mask – apply，全脸应用的通用遮罩，应用完，遮罩信息就写入了到了你的aligned图片里，然后就可以开始训练模型了，实际试了下，没特殊需求的话，效果和后做感觉差不多； （二）自己画遮罩 （1） XSeg) data_dst（src）mask – edit。画遮罩，在dst里面圈出来的，是要被替换的；在src里圈出来的，是要换到dst的。 举例：src有眼镜，dst没眼镜，你想把src的眼镜保留下来换到dst上面，那么，你这就是自己的特殊需求了，需要先在src里面把眼镜和人脸画在一起，告诉软件，这是一起的，别给拆开了。又或者，src在吃东西，时不时被手和食物遮挡了，你就需要在这个编辑中，先圈出脸来，再把遮挡物给圈掉。 左边上数第一个圈出来的是保留的，上数第二个按钮圈出来是不保留的，看示意图应该也能看出来。 最后，画几个有代表性角度或者表情的就好，如果遮挡物每次都不同，大概都画一下效果会好点（没验证）。 （2） XSeg) train，遮罩训练，不分dst和src。画完遮罩之后，因为并没有全部画，所以需要训练一下遮罩模型，让软件进一步在全部aligned图片的范畴内，弄清每张图片你到底想保留哪些部分、去掉哪些。这一步的结束可以预览图的黑白边缘分明为标准。 （3） XSeg) data_dst（src）trained mask – apply。训练好的遮罩，应用的所有aligned图片中，dst和src是互相和自己的遮罩编辑对应的，画了src，就应用src，dst同理。 ///总结一下：至此，可以看到先做的这两条分支的最后都是apply，两者会互相覆盖，只有最后选的那个会生效。/// 最后，自己画遮罩的分支，根据训练和合成效果，你还可以对自己画的遮罩做两个操作： （4.1）XSeg) data_src（dst）mask – fetch。你觉得遮罩效果不错，以后还能用到，就可用这个把它抓取出来，以后复用。但如果你画的遮罩仅针对这次的特殊需求有用，甚至和后续的需求相反，就没有复用必要了。 （4.2） XSeg) data_src mask – remove。遮罩不满意、弄错了、漏画了等等，不想要了，就用这个把写入图片的遮罩删除掉。
遮罩的运用，可以看成是会用软件门槛标准了。遮罩除了能排除脸部遮挡，在素材面部阴影复杂的情况，还可以借助mve画出阴影遮罩，帮助提高训练效果，实测有效。其他运用还在摸索中。 以上，如果你觉得有用，请回复“谢谢分享”。 如果你觉得没用，请回复“就这？ / 这还用说/ 你才知道啊”
| 
|Archiver|手机版|deepfacelab中文网
|网站地图
楼主
发表于 2023-8-15 20:46:13
