【科学修仙实验室】-极致效率下的分丹猜想

helas

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

最近赋闲在家，想了想效率的问题；
对于大量且多角度的dst素材；
大部分dst的视频不会出现特别多的极限角度，极限角度的占比会特别低，如果放到同一个丹炉中，因为dfl的炼丹机制是随机取切脸数据训练，所以被取到的极限角度也比较少，这样想得到一个好的合成效果就必须依靠大量训练时间；比如在2W总量的素材中，俯仰、左右角度均为60度的素材【以下标注60+60】，可能就3-5张；在极限去重精简的情况下，dst总量在4-5000张左右，60+60的素材全部选取5张，被选到的几率在0.0001，即使开了dfl自带的优先选取（Uniform yaw distribution of samples），假设效率提升100倍，也只是0.01左右【推测此算法是依靠角度内容来均匀计算，比如4000张，占角度组合有400个（全角度468），那么就以400为一个周期，每个角度组合取一张训练，这样效率可能是1/400，那么20W训练量，60+60的训练量=200000/400=500，太可怜了】；
这里要说一下炼丹的原理，炼丹其实炼的推理能力【其实是数据处理+数据预测的能力，包含卷积核啥的，为了容易理解就说推理】，比如素材缺C角度，而算法是依靠A、B角度来推理出来了，那么A+B—>C的过程就是推理能力，所以如果一个专用的丹只用来处理极限角度，那么这个丹的炼的速度将会极快；
现在我们可以把极限角度提取出来，按照2W的切脸数据来计算，极限角度大约为3-400张，新开一个丹炉只训练极限角度【src素材也可以按照这个标准来，极限角度全选，平常角度各取1-2张】，那么每张取到的都是极限角度，这样就能最好的利用其训练效能，每张都是有效的；
之后在合成时，区分合成就可以，至于素材的拆分可以依靠cmd脚本来解决；
我将会做一下实验，看看这样是否可行；如果可行，效率可能提升的比较大；还是那颗1000W训练量的变态丹在colab上云训练；
以上，结束，免费。

helas

dst总量：2W张

dst精简后：4000-5000张

dst占角度：400

dst全角度：468

极限角度：300张

60+60：5张

训练总量：20W；

60+60训练量：200000/400=500次

分丹制：

极限dst量：600（极限角度全选，然后关联角度各取1张）

极限角度：300张

60+60：5张

dst占角度：200-240

训练总量：20W，关闭按照角度训练（Uniform yaw distribution of samples），这样不按照角度优化选取，因为极限角度的图占比多，那么极限效率=300/600=0.5；

60+60训练量：200000/600*5=1666次；

bbwc1985

我早就这么想过，推测应该是可行的，最大的问题是得去改合成的代码，dst不同角度的帧得用不同的丹去合成

Nordinary

听起来非常可行，等待楼主最后的成果

a67994407

静候佳音

whatsall

helas 发表于 2022-7-21 12:48
dst总量：2W张

dst精简后：4000-5000张

这个训练方法在官方给出的教程里就有所提及，本来就应该在迭代次数达到一百万以后重新制作专门的死亡角度数据集进行针对性训练。不明白你为什么要“新开一个丹炉”单独训练？直接训练不就得了吗。

helas

whatsall 发表于 2022-7-22 12:15
这个训练方法在官方给出的教程里就有所提及，本来就应该在迭代次数达到一百万以后重新制作专门的死亡角度 ...

因为我可以在colab同时开两个炉子，这样可以减少炼丹时间，而且死亡角度的炉子可以复用，作为专门的死亡角度模型……

楼兰古国

楼主有结论了没

helas

楼兰古国 发表于 2022-10-11 15:59
楼主有结论了没

最近colab pro的模式改了，所以还没有时间测试，最近可能自己搭个环境试一下，等一等