关于训练模型时牙齿的问题

YUZ1

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

请教各位大佬，我的SRC上是有露牙齿的照片的，虽然数量不多，可是整副牙齿的全貌还是能凑齐的。

训练时候五官都已经很不错了，可是牙齿那里却一直很模糊，训练个一晚上才清晰一点点，这时候应该怎么调训练的参数，开启什么功能才能专注于牙齿呢？注：基本其他五官已经像模像样了。

duanmuzr

YUZ1 发表于 2023-1-6 16:20
真脸开了会把dst的脸给影响了好像，没有扣牙齿的，我就是刚开了嘴眼，要不要降低学习率？降低的话对牙齿 ...

关于真脸，你说反了。真脸是把更多src的特征转移到结果上，减少dst对src的影响

关于LRD，看你说法，你开嘴眼之前，还没开过LRD？

按官方的说明

LRD第一次开启，是在刚开始训练，小BZ开RW训练轮廓到Loss降得慢的时候，开启LRD。然后再开启嘴眼、真脸等细节训练参数，训练细节的时候，RW和LRD关掉。
LRD第二次开始，是在细节训练结束后，关闭细节训练参数，开启GAN的时候开启。
所以鉴于你现在的情况，建议先别开嘴眼，先开RW和LRD，训练一段时间到Loss波动或者不降反升，再关RW和LRD后，开嘴眼。

最后的最后，要有耐心

最后的最后的最后，尝试先合成一小段看下实际效果，大部分时候实际效果和预览第五列还是有很大区别的

duanmuzr

7167603 发表于 2023-1-19 05:05
请问大佬，我也有类似的问题，但是和他不是完全一样，我的是上排牙有缝，下排没有，这个应该怎么调整呢？ ...

首先，不是大佬。
没有实际遇到过你这个情况，但从理论上来说，牙齿要练出清晰牙缝，务必要具备以下几个条件：
1、src有清晰牙缝，较多比例露牙齿的脸图
2、dst清晰度要清晰到看清牙缝，不论牙缝大小
3、足够的训练时间，特别是嘴眼和Gan这两段

duanmuzr

先看下你的src遮罩是什么情况，是不是把牙齿抠出去，抠出去了，怎么练也没用
没抠出去的话，打开嘴眼优化，其他的就交给时间了
开了嘴眼的话，再开真脸、再开Gan，这些都是提升细节的参数，具体参数没有通用标准，多备份，多尝试。老手看图才能给意见，具体肉眼目测的效果

YUZ1

duanmuzr 发表于 2023-1-6 15:50
先看下你的src遮罩是什么情况，是不是把牙齿抠出去，抠出去了，怎么练也没用
没抠出去的话，打开嘴眼优化， ...

真脸开了会把dst的脸给影响了好像，没有扣牙齿的，我就是刚开了嘴眼，要不要降低学习率？降低的话对牙齿有帮助吗？

cpxh125

duanmuzr 发表于 2023-1-6 21:55
关于真脸，你说反了。真脸是把更多src的特征转移到结果上，减少dst对src的影响

关于LRD，看你说法，你开 ...

学习学习

YUZ1

duanmuzr 发表于 2023-1-6 21:55
关于真脸，你说反了。真脸是把更多src的特征转移到结果上，减少dst对src的影响

关于LRD，看你说法，你开 ...

好的，谢谢指导！我试试！

7167603

duanmuzr 发表于 2023-1-6 15:50
先看下你的src遮罩是什么情况，是不是把牙齿抠出去，抠出去了，怎么练也没用
没抠出去的话，打开嘴眼优化， ...

请问大佬，我也有类似的问题，但是和他不是完全一样，我的是上排牙有缝，下排没有，这个应该怎么调整呢？

7167603

duanmuzr 发表于 2023-1-26 23:26
首先，不是大佬。
没有实际遇到过你这个情况，但从理论上来说，牙齿要练出清晰牙缝，务必要具备以下几个 ...

DTS是用的FFHQ来跑的
刚开始练的时候原预训练丹原来是有下齿的，在跑了8万RW后，开始RW和LRD之后才发现上下齿都没有了，
SRC后来补了一百多张专门露下齿的图，但是之后跑了大概3天左右眼嘴BS24，5W多迭代后就变成上齿越来越清晰，下齿始终都是一片白，
然后又换成GAN0.001，BS8跑了3天3W多迭代，依然是下齿一片白。
跑的是512标准三围256 64 64，请问是没有跑够迭代么？ 麻烦帮忙分析下，谢谢

duanmuzr

7167603 发表于 2023-1-27 04:56
DTS是用的FFHQ来跑的
刚开始练的时候原预训练丹原来是有下齿的，在跑了8万RW后，开始RW和LRD之后才发现上下 ...

未实操，纯理论层面探讨一下

1、DTS是用的FFHQ来跑的
用FFHQ来跑DST，是为了提高泛化练万能模型吗？FFHQ的素材我印象里露下齿的或者说下齿清晰的不多吧？

2、刚开始练的时候原预训练丹原来是有下齿的，在跑了8万RW后，开始RW和LRD之后才发现上下齿都没有了
你用的预训练丹包含了原src和dst吗？如果没有，那细节会慢慢被新的src和dst带走。好的预训练单只是缩短前期效果成型的时间。并不会保留原src的细节。

3、SRC后来补了一百多张专门露下齿的图，但是之后跑了大概3天左右眼嘴BS24，5W多迭代后就变成上齿越来越清晰，下齿始终都是一片白，
补充具有特定细节的src素材，肯定能加强合成效果中的特定细节，但加强的程度处除了训练时间，更重要的是具有特定细节的素材在整体素材中的比例

4、然后又换成GAN0.001，BS8跑了3天3W多迭代，依然是下齿一片白。
我一般是开Gan0.01，512模型的话 Gan三围 64 32（不是模型三围哦），BS24，开LRD（官方说明说开GAN的时候要开LRD）

以上是针对你说到的几个点，我个人的理解。

其实每个人炼的每个丹，都是个例。素材、底丹、参数大小、开启时机、迭代数量都是变数。没有统一标准。
就你说的这个个例来说，你要不是试试rw后就开嘴眼，跳开LRD这一步 重新走一遍