请大神帮忙解答，预训练和正式训练怎么衔接，恳求了！

menglue

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

     我第一次练新模型，我使用pretrain_faces（faceset.pak）来预训练，原来练过一次到100万左右迭达，开始正式训练，可是正式训练从零开始没人脸，而且成形很慢！所以我没有弄懂该怎么操作，我现在使用的很多丹不管是使用任何SRC新脸，成形都很快，一小会就出来了。请大神帮忙解答一下，我该怎么操作，怎么去训练！      下面这张图刚刚预训练了两天。

ken2099

你操作的没错，就是这样的
预训练的用处在于让模型先学到一些图像的规律，从预训练转到正训的时候，浅层次的规律会被抹除，但是深层次的规律会保留。
因为浅层次的规律被抹除了，所以看起来图像成像还是很慢，但是和一上来就直接正训相比，依然要快很多。
经过预训练，模型的泛用性会好很多。

menglue

ken2099 发表于 2022-12-15 18:36
你操作的没错，就是这样的
预训练的用处在于让模型先学到一些图像的规律，从预训练转到正训的时候，浅层次 ...

谢谢，那我预训练要练多少迭达才转正呢？转正以后大概练多久才能像我现在用的模型达到十多分钟就出效果了？

ken2099

menglue 发表于 2022-12-16 04:45
谢谢，那我预训练要练多少迭达才转正呢？转正以后大概练多久才能像我现在用的模型达到十多分钟就出效果了 ...

一般预训练练到最后一列差不多清楚了就可以了。
预训练永远不可能达到成品丹那种效果
它的主要作用是比你直接从0开始正训整体要稍微快一点，也快的有限。

1291667211

转正式前把预训练的丹先备份。转正式训练后，如果发现第二列又从灰色的开始训练，按回车保存退出，把备份的丹的npy格式的文件复制替换到正式的丹上，再开始正训就好了

ken2099

1291667211 发表于 2022-12-16 15:03
转正式前把预训练的丹先备份。转正式训练后，如果发现第二列又从灰色的开始训练，按回车保存退出，把备份的 ...

这个办法可行，我试过，的确可以快速出结果，
但是以我的理解是有后遗症的，如果没有问题的话，为何原程序要做一次这样的清理呢。
就像LIAE模型，如果换SRC，需要删除几次inter-ab文件。每次删除，都要糊一阵的。
我觉得预训练和这个是一样的道理，不清理数据，会导致SRC学了很多很杂的特征，可能会谁都不像。
以上是我的猜测，我并没有仔细研究过这个问题。