model经常换SRC练好还是不好

winson · 发表于 2022-5-27 14:30:30

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

问题：请教大佬，我有几个固定的SRC，dst素材经常变。（1）我是每个人一个专门的model一直换不同的DST练；
（2）还是就一个model，不同的SRC换着用合适，这样是不是也让模型的泛化能力更强。

如果第一种，是不是一直练下去，这样就变成这个人的万能丹了；如果第二种是不是对于每个人都不太行，还是更强了，有没有累积效应。

Gottvonkarlberg · 发表于 2022-5-28 12:09:59

我自己的经验的话，还是专人专丹，SRC只补充同一个人更高质量、更多角度、光影和表情的图片，DST就越多越杂越好（当然要和你的目标DST相符，比如B站很多换主播的脸到韩舞上的，这种情况你应该找东亚裔年轻女性的图片当DST），因为这样的话，你的丹是可以直接merge到一个新DST的，顶多小训练一会微调一下。而SRC换人的话，你就不能直接merge了，不然会变得和你上次训练过的那个人一样。

至于你说的第二种情况其实就是预训练的退化版，预训练需要你在SRC和DST都放上各种各样的人的图片，这样后续再练专人的时候需要的迭代的次数就可以减少。如果SRC换人练还不如用FFHQ等数据集搞预训练。因为公开数据集的图片更多更杂，更适合预训练阶段提高泛用性。

另外并不是迭代次数越多就越好的，你要看合成效果是否够好及Loss是否已经不太动了。如果你是专人专丹，那你训练到Loss不太动了，以及合成效果够好了就可以停了（这里有几个阶段，懂英文的话，可以参照软件官网的workflow）。假如你的迭代次数过多，其实反而是让模型过拟合于当前的DST，降低了泛用性，也就是说直接merge新DST的话，效果反而没那么好。

nzztt · 发表于 2022-5-28 11:00:30

提示: 作者被禁止或删除内容自动屏蔽

Waldosia · 发表于 2022-5-27 14:45:35

我也想知道，顶一下

wtxx8888 · 发表于 2022-5-27 14:53:13

本帖最后由 wtxx8888 于 2022-5-27 14:54 编辑

练过的人下次会很快练好。所以答案是：盯着一个丹练到死！！
参与练的人越多（SRC+DST都算），适性越强，凡是练过的人都会很快。

werran · 发表于 2022-5-27 14:59:26

专丹肯定会更像
不然为什么要区分专丹和万能丹呢，全世界的人都用都一起练一个迭代一万亿次的模型就好啦

wtxx8888 · 发表于 2022-5-27 15:01:47

werran 发表于 2022-5-27 14:59
专丹肯定会更像
不然为什么要区分专丹和万能丹呢，全世界的人都用都一起练一个迭代一万亿次的模型就好啦 ...

不像因为你是换脸，换头才像---因为SRC脸型不变

future_s · 发表于 2022-5-27 16:32:28

好问题，同问

future_s · 发表于 2022-5-27 16:36:22

werran 发表于 2022-5-27 14:59
专丹肯定会更像
不然为什么要区分专丹和万能丹呢，全世界的人都用都一起练一个迭代一万亿次的模型就好啦 ...

说的很有道理

烟鬼 · 发表于 2022-5-27 16:38:04

src质量好一点应该没事，换来换去src差的感觉对模型不太好

2053264049 · 发表于 2022-5-27 16:49:42

最好还是专人专用

winson · 发表于 2022-5-27 17:22:36

烟鬼发表于 2022-5-27 16:38
src质量好一点应该没事，换来换去src差的感觉对模型不太好

那是，都让它雾里看花肯定认不清的

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

model经常换SRC练好还是不好

真我风采勋章

万事如意节日勋章