新手关于素材不够补角度的问题

xylego

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

这两天反复看了几篇各个大神写的补角度的教程，也下载了随风和金鱼模型自己用。

随风：https://dfldata.cc/forum.php?mod=viewthread&tid=445

金鱼：https://dfldata.cc/forum.php?mod=viewthread&tid=4327
wtxx8888：https://dfldata.cc/forum.php?mod=viewthread&tid=10540


基本原理大致知晓，也清楚在素材缺角度的情况下，不可能只通过1-2轮循环把素材补齐。
但可能是个人阅读理解水平捉急，还是有些不明白的地方，在这里汇总一下希望能有大神指点：

1.每一轮循环是否都需要按照金鱼所提供的步骤进行训练？在新一轮循环的开始，是否要把设置重新设置回第一步？如果我第一轮第三步最后开了gan，那么第二轮的一开始是否gan就需要一直开着？

第一步：开扭曲 DST翻转关闭 打开遮罩 BS4跑 loss值到0.3-0.4
第二步：关扭曲（也可以不关）开眼嘴和侧脸优化，lrd开  trueface（如果SRC不是很像就开一点）BS开到显卡能承受的最大值 无需关心loss值 眼睛判断 效果感觉合适了就停。
第三步：除了遮罩上面的都关了 只开gan  BS最大值

第三步可以再最后一轮的时候开，也就是你跑完两三轮觉得角度补全差不多了以后。

2.把训练后dst生成的直方图--->切脸--->再放入src中训练。我的疑问如下
   a.把原素材+生成素材混合在一起当作src进行下一次训练。也就是说每一轮循环，src素材库会越来越大。例如我原素材有500张图，第一轮训练后dst提取/切脸得到的直方图有5000张，从中挑选出比较清楚的1000张加入src中，那么第二轮训练我的src就是1500张图。
   b.只从新生成的dst图像中挑选出原素材中不存在的角度加入src中进行下一次循环。例如我原素材有500张图，第一轮训练后dst提取/切脸得到的直方图有5000张，从中挑选出比较清楚的300张源素材中不存在的角度进行第二轮，那么第二轮训练我的src就是300张图。

请问正确做法应该是a还是b？为什么？

3.在src添加新角度素材后，每一轮循环应该接着用上一轮的丹继续，还是应该重新换成底丹从头开始？例如我用底丹A进行第一轮增加角度的训练，迭代了30W次结束，把这时候的丹称作B丹。那么我在进行第二轮循环的时候应该用A丹从头开始还是应该接着用B丹？为什么？
我会问这个问题是因为wtxx8888那篇的第六步提到：”第六步。将恢复的直方图放入SRC后，使用之前的SRC-SRC备份，覆盖模型以全新开局。“ 而随风和金鱼的方法中好像没提到这个做法，所以有点蒙。

4.通过训练生成的dst直方图清晰度总体来说不如原素材，尤其是原素材中不存在的角度（也有可能是我训练时间不够长）。如果把这些图加入到src中接着训练，是否会对随后生成的图造成影响？例如我原素材清晰度100%，第一次循环后生成的直方图清晰度只有85%。在第二轮中就只能把不同清晰度的图放在一起进行第二轮训练。

对于这个问题，金鱼大神好像是说开gan就能解决问题。。所以说即使src不够清晰，开gan也能使得最后生成的图像清晰吗？？

5.最后这个问题或许只有滚石版主能解答，问题如下：这么做可行的原理是啥？是利用神经网络中的反向传播吗？src-->dst训练一遍，然后反过来把dst当作src，src当作dst再训练一遍。接下来呢？这个过程需要重复几次？这个方法是否还需要从dst中生成稀缺角度的直方图加入src中进行循环？



由于是新人，问题有点多。希望能有优质回答让这篇问题汇总对其他新人有帮助！

seancai110

没这么复杂。其实就是，如果你没有稀有角度训练，那么换到稀有角度的时候，很可能会脸糊，连dst的脸都没有。
版主说的那个，意思应该是让模型学会dst的稀有角度，这样换脸的时候，dst不会糊。
至于什么时候加进去，无所谓，不就讲究那么多参数。反正你补角度肯定是不像src的，有个人形就行了。

kanbumingbai

就好像你的SRC里有1+1=2 2+2=4 3+3=6 但是DST里是2+3，那么模型就得做换算啊，大概是等于4.7 或者5.3左右，大概，为啥不是5，因为没有5这个最准确答案只能估摸，你把这个答案放进SRC里，那么下次再有人问，你就不会再去换算了，而是直接调用4.7-5.3之间的答案，省时，但是这个毕竟是大概，作为临时不像的补角度行，真行，而且这种补角度是数量少，不会影响模型。我擦为啥1加1不显示加号

jinyuan37

角度不全就用LIAE

国际狄拉克

1. 能开就开。开了会拖时间，不开会一轮比一轮糊，并且损失细节。
2. a，后续训练有源src的参与会更好更像源src
3. 我觉得用B会更像源src
4. 是会清晰，但也会失真，相当于p图美化了。源src不够清晰的话建议先用ai处理
5. 要重复很多次，需要加入src