model经常换SRC练好还是不好

bf4600

还是专人的好。

随遇而安

我感觉专人专丹好

future_s

我现在觉得先找个好的底丹，再固定src练专人这样好，效果是不是最好不知道，但这是最快能见到成效的

Gottvonkarlberg

我自己的经验的话，还是专人专丹，SRC只补充同一个人更高质量、更多角度、光影和表情的图片，DST就越多越杂越好（当然要和你的目标DST相符，比如B站很多换主播的脸到韩舞上的，这种情况你应该找东亚裔年轻女性的图片当DST），因为这样的话，你的丹是可以直接merge到一个新DST的，顶多小训练一会微调一下。而SRC换人的话，你就不能直接merge了，不然会变得和你上次训练过的那个人一样。

至于你说的第二种情况其实就是预训练的退化版，预训练需要你在SRC和DST都放上各种各样的人的图片，这样后续再练专人的时候需要的迭代的次数就可以减少。如果SRC换人练还不如用FFHQ等数据集搞预训练。因为公开数据集的图片更多更杂，更适合预训练阶段提高泛用性。

另外并不是迭代次数越多就越好的，你要看合成效果是否够好及Loss是否已经不太动了。如果你是专人专丹，那你训练到Loss不太动了，以及合成效果够好了就可以停了（这里有几个阶段，懂英文的话，可以参照软件官网的workflow）。假如你的迭代次数过多，其实反而是让模型过拟合于当前的DST，降低了泛用性，也就是说直接merge新DST的话，效果反而没那么好。

夏一天

学习了，感谢

dilonely

Gottvonkarlberg 发表于 2022-5-28 12:09
我自己的经验的话，还是专人专丹，SRC只补充同一个人更高质量、更多角度、光影和表情的图片，DST就越多越杂 ...

在预训练的基础上练专人，会不会受到预训练的影响（比如脸型、角度等）
理论上最完美还是从头练专人吧？

winson

Gottvonkarlberg 发表于 2022-5-28 12:09
我自己的经验的话，还是专人专丹，SRC只补充同一个人更高质量、更多角度、光影和表情的图片，DST就越多越杂 ...

感谢分享，谢谢

Gottvonkarlberg

dilonely 发表于 2022-5-28 12:49
在预训练的基础上练专人，会不会受到预训练的影响（比如脸型、角度等）
理论上最完美还是从头练专人吧？ ...

当你从预训练转到练专人时，因为更换了SRC，所以是要开Random Warp(RW)的，官网解释是generalize the model on your datasets，从实验效果来看就是预览图由之前训练过的脸变成当前你数据集里的脸，所以不用担心之前的训练会影响当前的效果。反倒是用预训练过的模型，只要预训练用的数据集的角度、光影和表情够多，或者和你的目标SRC及DST所属人群一致，那么你很快就能获得一个专人丹。比如我之前有在论坛找到过一个df-d结构f脸的神丹，从第一张预览图可知其预训练的数据集用到了东亚年轻女性的图片，然后我要练的专人是IU，两者所属人群一致，然后跑了几万步就有清晰的脸部轮廓和牙齿，跑到四十多万步就有眼神光了，跑到六十万步我就直接拿来merge不同的DST了。当然DST用的也是这个人群的数据，比如我那次是把IU换脸到中国版步步惊心的刘诗诗上，这两者所属人群都是预训练集包含的，这样即使我是直接merge的，效果也很棒，但如果我是用欧美人的脸当DST，效果就一般了。

dilonely

Gottvonkarlberg 发表于 2022-5-29 13:56
当你从预训练转到练专人时，因为更换了SRC，所以是要开Random Warp(RW)的，官网解释是generalize the mod ...

受教了，RW参数很实用啊