感觉到了可以开始GAN的时候了，但是完全不懂GAN参数的意思

wzx945

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

之前也尝试着用坛主的刘亦菲神丹做底丹炼制了两次丹了，但是224的分辨率有点低，这次想着用高一点的分辨率炼制。

但是对于GAN的步骤和参数还是比较迷惑。

官方的推荐是gan_power调到0.1开始迭代，也有一些说法说应该gan_power调到0.01。我之前也看到过一些关于GAN的说法，大体意思是，假定训练的目标是10，gan_power决定每次迭代的步幅大小，gan=0.1迭代100次就能到达，而gan=1只需10次，但是如果调太大，gan=4可能2次就到达8，但是永远到不了10。这个解释理解起啦不困难，但是问题就是，怎么判断到底离目标还有多远，还是已经过头了，这里就有点含糊其辞。

我个人不太能理解这里的意思，所以我之前两个丹是用一种比较暴力的gan法，即一开始gan_power=5.0，等嘴唇和眉毛上开始出现纹理时，把gan_power调到0.5甚至0.1，防止gan过头。效果其实也还可以，由于是小分辨率的丹，预览图上很难看出gan的具体效果，只能大致看出纹理出现与否。具体合成阶段才能用比较大的头像看出gan出来的纹理是否自然。但是也由于是小分辨率的丹，而且SRC都眉毛也不是根根分明的状态，所以我只能大致描摹出纹理走向，深入细节还是不是那种根根分明的纹理，但是对于这个尺寸的丹来说，效果绝对足够了。

如图，做不到坛主热巴丹那种眉毛根根分明，但是能看出来眉毛的纹理
自练周也丹 自练章若楠丹

现在，我从头训练了一个320的丹，这次分辨率大了不少，预览图能很清晰的看见细节纹理，目前迭代141w。在我看来，成像已经足够清晰，但是还缺少细节纹理，也就是应该开始GAN了。GAN_POWER的意思大致能理解，从两次炼丹的尝试结果来看，效果也可以接受。


但是对于gan_pitch_size和gan_dims这两个参数还是比较迷茫，从参数的字面意思理解，似乎gan_pitch_size决定纹理的精细度，应该小一点，而gan_dims字面意思是gan的解析维度，教程里说可以大一点，但是具体怎么设定还是比较疑惑。

希望有大佬能帮忙稍微解释一下这几个参数，教程里说的太含糊了。

放出我自己的丹的快照，这是134w迭代时的截图，能看出来牙齿还是不够清晰，所以我从SRC里挑出来3600张包含牙齿的图，专门对练了6w来专项训练牙齿。


这是刚开始gan的截图，有一说一，刚开始GAN的时候确实有点吓人，满屏的绿色网格，2.4.5列糊成一片，loss从0.1飙到0.5，好在过了不到2分钟，一切又恢复正常，而脸的遮罩外开始出现网格，我不确定我是已经炸丹了，还是这是正常开始gan的现象。


练了一天，嘴唇的纹理已经可以了，眉毛纹理出现了，但是还能提高，睫毛刚有一点噪点，还要继续练

fan922

坐等大佬回复，我也是来学习的。帮你顶上去。

bailitian123

我也不懂，但是我想说说我的看法
炼丹练的在好也就是能把你src素材的细节体现出来
看你src的素材眉毛就本就不是根根分明的，所以怎么开都练不出来

DFL不会无中生有

WaveBedo

楼主，你好啊

我一直搞不清楚，gan数字的区别，
我看到很多模型gan0.1的皮肤，近景的话，皮肤会很粗糙
所以，我以为gan越大的话，就会越粗糙
但从你的图片来看，似乎并不是这样

你最下面的图片，好清晰啊
你gan_power=5.0跑多久，才改小到0.5啊
（我之前也以为，不能改小的）

lghssg

蹲个大佬回复，另外请教一下，model summary里面参数有解释的帖子吗？

wzx945

WaveBedo 发表于 2024-4-15 22:28
楼主，你好啊

我一直搞不清楚，gan数字的区别，

GAN的具体情况我其实也不懂，但是从我个人的感觉和对换脸效果的要求来说，一般GAN个1~2天，换脸视频已经足以以假乱真，所以我完全无法理解那些gan了上百万迭代的大佬，到底是怎么操作的。

5.0跑多久这个我也是完全凭感觉，我自己的操作是在第二列能看见唇纹，并且能看见眉毛开始出现纹理时就改小gan的值（不到2w迭代），然后等睫毛位置开始出现噪点后再继续调小GAN的值，直到达到自己满意的效果。

具体GAN的值能不能改小，怎么改，我完全是自己瞎折腾的。但是从效果来说，我个人是很满意的，从我个人的感觉来说，效果可以说完全不输坛主那几个神丹，比论坛里能见到的那些专丹大部分都要强得多。

不足之处是，眉毛的纹理还是比较混乱，大近景镜头可能容易穿帮，但是对于绝大部分短视频来说，320丹的效果非常惊艳。

WaveBedo

wzx945 发表于 2024-4-16 04:11
GAN的具体情况我其实也不懂，但是从我个人的感觉和对换脸效果的要求来说，一般GAN个1~2天，换脸视频已经 ...

我使用0.01gan了20多个小时，但感觉皮肤还是很粗糙，没有细腻那种感觉
我在想是不是应该用0.001
你最后用的数字是0.1吗？还是更小？

wzx945

WaveBedo 发表于 2024-4-16 17:13
我使用0.01gan了20多个小时，但感觉皮肤还是很粗糙，没有细腻那种感觉
我在想是不是应该用0.001
你最后用 ...

不知道你说的皮肤粗糙是什么样。。。我好像没跑出来皮肤纹理，也就谈不上什么细腻还是粗糙了

WaveBedo

wzx945 发表于 2024-4-16 20:16
不知道你说的皮肤粗糙是什么样。。。我好像没跑出来皮肤纹理，也就谈不上什么细腻还是粗糙了 ...

可能你不用超分，看不出来吧。
反正就是颗粒很大的感觉

你练成了吗？gan最后你是用0.1还是0.01啊

三先天

gan_pitch_size 是越大效果越好 原文： The higher patch size, the higher the quality, the more VRAM is required.
GAN dimensions 越高对性能要求越大高