同一个角度的SRC是不是越多越好？

come3002

yxyao 发表于 2024-5-10 21:38
多谢大佬解答，不过逐张检查遮罩这个过程太费时间了

SRC素材提供主要的换脸信息。需要慎之又慎。不仅要查一遍遮罩，还可以在训练时候多观察
如下图，左下角，这个图片 训练看，遮罩应该问题不大。并没有因为引入这张图，而污染model。



DST数据集，樱花载体等这个东西跟SRC一样的。积累型，越攒质量越好。
比如如果搞到一批新的优质的4k樱花。就要及时删除一些重复性30-40G一部的 4k 樱花、或不合适的，或清晰度不理想 5G-8G 1080p樱花 。

yxyao

come3002 发表于 2024-5-10 22:10
SRC素材提供主要的换脸信息。需要慎之又慎。不仅要查一遍遮罩，还可以在训练时候多观察
如下图，左下角， ...

懂了，src总是就是需要给模型提供一些特征信息，但是不能提供错误的信息，而且正确的信息越多、越准确越好，所以追求高质量，并且要用遮罩挡住错误信息，而且当然是无遮挡的src最好

come3002

yxyao 发表于 2024-5-10 22:55
懂了，src总是就是需要给模型提供一些特征信息，但是不能提供错误的信息，而且正确的信息越多、越准确越 ...

这也不是绝对的。基础包SRC炼制的df丹及时备份modelA。

如果 樱花bed激战。头部发生位置移动，0.5秒内可能4k 30帧，部分模糊的，微微切错信息位点的略错误的信息。（1080p低码率 中景更为严重，0.5秒内的30帧可能大部分是模糊，甚至有重影的，。大幅偏差信息位点的，错的一塌糊涂的也可能有。）。
SRC基础包就要补充 特殊包，如SRC  相同光影 相近角度下，相似表情 头部的运动包逐帧保留（略模糊的也保留），这个运动包有模糊的帧 可能一些信息是错误的。
但是这样的略错误的信息是有价值的，将来训练DST时候 可以达到 模糊src1v1 模糊dst，对应的关系。得到modelB。

实现 基础包下该准确的时候，使用modelA 准确vs准确；特殊镜头下，加特殊SRC包的modelB，该模糊的时候，模糊vs模糊dst；该模糊错误vs模糊错误。达到都能多数情况一一对应。让合成效果更自然一些。

yxyao

come3002 发表于 2024-5-10 23:10
这也不是绝对的。基础包SRC炼制的df丹及时备份modelA。

如果 樱花bed激战。头部发生位置移动，0.5秒内可 ...

好像有这个说法，说是模糊的src对于模糊的dst有更好的效果。谢谢解答

come3002

yxyao 发表于 2024-5-11 01:06
好像有这个说法，说是模糊的src对于模糊的dst有更好的效果。谢谢解答

前期用精准细节好的素材训练，利于出细节得到modelA。等细节出来了，后期适量加一点模糊素材得model B。
另一种办法是从论坛下载清晰的，模糊的都有。src和dst数据集，一路跑就行了得model C。

Dst也很重要。需要尽量跟src匹配。

为了稳妥推荐第一种，精准细节model A主线。
Loss,下降快，省时省力。后期 加模糊的时候，也是分5-10次（123456789 10）慢慢加的。假如某次加到9时候渣丹出事，也容易一一核实DST这批图片跟前期相同参数时候使用的DST做对比；明白是什么素材的问题；核实这批DST 改参数前的训练正常，改某参数后出事，大概推断这批素材不能开什么参数；容易找出问题根源，即便找不到 就直接删掉这一批 编号9的 DST即可。利用其他 12345678 10 的DST数据集即可。并随时可以 使用 12345678 10 按需要变换高分辨率模型。

第二种 参数一个不慎，炸丹可能性是很大的。
最近看多位坛友丹出事，尤其是第四列变白/变红，不乏有几百万迭代的丹。
关键是第四列由dst决定，而数据集往往什么素材都有，不清楚哪种dst或哪一批dst素材的原因，或哪个阶段参数的原因。根源不除，只要用这样的dst这样的参数，哪怕换了更高分辨率模型，下一次炼制还会发生。