炼丹第三次进展报告，效果还不错！！！ 角度优化侧脸优化

MLGB

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

先来说下感受：通过前人大佬的指正，在炼丹的道路上成就感很多！！！！！醉卧沙场君莫笑，古来征战几人回。

先来说下前几天把  就是普通的炼丹，然后挂机了2天把 搞了50万次，发现正脸效果非常棒，侧脸的照片呢出图就不是很好，于是把侧脸和嘴角的优化选项全部打开，今天早上发现效果并不是特别好，其实原因把我感觉是随机选择图片中，侧脸等图片可能选中的太少导致！！！


在之前的训练中，如下图这种类型的图片，在训练界面的预览图中效果非常差劲，于是今天开始单独练这种刁钻类型的角度图片。



步骤如下：
1.通过DeepfaceLab图片排序，选择角度排序，大概摘出来1000张角度比较大的图片来进行单独训练，把之前dst的aligned图片删除，就留下这些角度图片，src的脸部图片可以不用动、（其实多少张我并不是很清楚，我看他们有说几十张就可以训练的，有的几百张的，而我选择了1000来张，具体优化侧脸或者其他部位的多少张图片开练，还望大佬给讲解下）

2.在原有炼丹的基础上，如果侧脸和嘴角已经打开过了，那么继续保持即可，我看论坛中888大佬对这块的留言中强调了嘴角的定位问题，如果在练的过程中打开又关闭会让定位丢失，所以我也选择了继续打开，但是扭曲进行了关闭。（关于学习率打开后是否还能关闭，我选择了关闭，其实学习率的本质就是随机把学到的知识选择遗忘，通过继续的学习来进行补充，具体还要找下论坛发过的论文，所以对888大佬中学习率的这个选择了忽略，我之前是开的，现在选择了关闭是因为加快学习，等各种部位学习差不多，可以继续打开学习率持续学习优化部位）

3.正常的训练，效果很明显如下图的前后对比图片，等训练感觉合适后关闭训练，保存模型，把之前的图片拉回来继续保持训练或直接打开扭曲继续训练即可

（其实还有简单的办法就是把这些特殊的图片多复制几份，然后让随机选择到的可能性增加！！！！，不过还是浪费时间）

在刚开始前面2天的训练中的脸部大角度输出图

今天经过一天训练特殊角度的输出图


效果可以说是立竿见影的。

如果您有什么不同的建议和意见提出吗，请留言。

wtxx8888

MLGB 发表于 2024-8-10 19:11
我不是用的别人的丹么，上来就直接开练了。。。。。。。。。。

1。扭曲，遮罩内训练，bs4 （练轮 ...

不分批，不先SRC-SRC。虽说也能最后练完成。
但练的速度上，是天差地别的。
先SRC-SRC，并有针对性的，优先侧脸大角度。
这要比一股脑的，快的多。

就好比你现在呢，发现侧脸不好，你是不是，要去单独强化侧脸？
后强化，很麻烦。

wtxx8888

学了MVE（Machine Video Editor）没有？用MVE把SRC，按角度拆分为两批。
教程：https://dfldata.cc/forum.php?mod=viewthread&tid=17828
软件：https://pan.baidu.com/s/1a9IG-ZRPkqPbJij-j3prTg?pwd=yxr7

开练之前，把SRC分两批，一批外围大角度的脸，一批正脸及小幅度角度。
首先第一批，先练外围大角度的，侧脸都练差不多了，再把正脸合到一起跑。
是作为SRC-SRC跑，意思是最开始，SRC与DST，都放SRC的图（分批时，每批图是一致的放入两边）。
开着扭曲，开着训练遮罩内人脸，开着嘴眼优先，LRD跟原丹保持一致，其他关了。

等全部的SRC，都合到一起后，并练的差不多了，才正经跑SRC-DST换脸，就是DST里，再换成真的DST图，去换脸。

你这，学点东西，跟闭门造车似的 。
不先各种看资料吗？多逛论坛，看别人的经验帖，非得手把手的指点？
别闷头瞎练。

MLGB

wtxx8888 发表于 2024-8-10 18:36
学了MVE（Machine Video Editor）没有？用MVE把SRC，按角度拆分为两批。
教程：https://dfldata.cc/forum.p ...

我不是用的别人的丹么，上来就直接开练了。。。。。。。。。。

1。扭曲，遮罩内训练，bs4 （练轮廓，不需要全部练出来，只要像个人就行）
2。扭曲，遮罩内训练，嘴眼 ，bs8 （练到loss下降很慢）备份一份以后复用，当自己的底丹
3。扭曲，遮罩内训练，嘴眼，lrd，bs极限（练到loss下降很慢）
4。lrd，剃度，bs极限，gan（收尾）

然后你留言pasanonic总结的挺好，不过你是丹复用，从3开始即可，1跟2都是从零的预训练。

然后我就直接按照这个步骤走下来了，结果就发现有点侧脸大角度的不太好，就单独训练下。如果当时再加上你的这次留言的话，当然我是没怎么找到您的这些留言啊 要是找到了肯定按照您说的前面的这些操作来。

老哥，就单独训练一些特定部分来说，我这个步骤应该是问题不大吧。毕竟有很多人的素材慢慢累加的，一些刁钻的角度通过各种方式有积累了一些，再次强化下模型的话，也是需要单独训练下这部分的素材把。

DFL小白02

实际素材每一张练出的效果参差不齐，预览图看着差不多了，合成经常发现很多角度还是根本没练出细节，一般侧脸大角度会更容易偏弱，所以提前练甚至后期还多copy几次加强训练频度。另外再提一嘴，我目前看到的用别人底丹都不如自己从头练的泛化效果好，换完就是不如从头练的像，差很多

MLGB

wtxx8888 发表于 2024-8-10 19:34
不分批，不先SRC-SRC。虽说也能最后练完成。
但练的速度上，是天差地别的。
先SRC-SRC，并有针对性的， ...

嗯嗯  确实是  学到了 ，以后炼丹一定注意  感谢888大神

rigui

wtxx8888 发表于 2024-8-10 18:36
学了MVE（Machine Video Editor）没有？用MVE把SRC，按角度拆分为两批。
教程：https://dfldata.cc/forum.p ...

论坛最好的老师，水平高不说，还对大家的困惑悉心指导，而且基本都是提供了最优方案，感谢大神！

wtxx8888

rigui 发表于 2024-8-11 09:52
论坛最好的老师，水平高不说，还对大家的困惑悉心指导，而且基本都是提供了最优方案，感谢大神！ ...

哈哈，显卡破没办法，只能尽量最优化。
先上述那样练，要比等发现侧脸不好，再去强化的好。
后面再强化，前面练的，容易白练。

rigui

wtxx8888 发表于 2024-8-11 10:19
哈哈，显卡破没办法，只能尽量最优化。
先上述那样练，要比等发现侧脸不好，再去强化的好。
后面再强化， ...

嗯，一直默默跟着您学习，每次看见您有回复都会认真看，受益颇多。

tgyoyo

我之前练过Lora，但容易过拟合，大角度也不太好，画出来感觉总怪怪的

目前打算用wtxx8888大的方法分批补角度，之后再处理各种遮挡