各大大佬，预训练和src-src对练的区别是什么？

fghfdg

dfl9999 发表于 2025-2-3 22:29
预训练可以很轻松练到0.1，你练到0.3下不去要么是停早了要么是批量开大了，不清晰很正常，通过src输出src ...

我也没说什么，就是感觉论坛对于预训练的详细讨论的帖子好像没有。这里正好可以给各位大佬讲讲自己对于预训练的个人理解。

我开嘴巴和眼睛训练了，并且bs保持10，一般一份pak训练5-6天，一天迭代8-9万，总迭代数应该就是8*5*10=400万的吧。如果不开的话loss确实能降到很低

fghfdg

yongbutuiqu 发表于 2025-2-3 04:29
预训练参数是死的。为什么src-src参数自定，这里参数指的是什么参数。请大神科普下 ...

预训练实际上只使用了一份人脸数据集（无论你放在src或者dst再或者其他位置）

所以从某种意思上也能看作是src-src吧（预训练的某些参数是强制关闭的）
           self.options_show_override['lr_dropout'] = 'n'
            self.options_show_override['random_warp'] = False
            self.options_show_override['gan_power'] = 0.0
            self.options_show_override['random_hsv_power'] = 0.0
            self.options_show_override['face_style_power'] = 0.0
            self.options_show_override['bg_style_power'] = 0.0
            self.options_show_override['uniform_yaw'] = True


只要在预训练选项选了Y，以上训练参数无论你在选项的时候选Y还是N，，这些参数都是强制的
根据滚石大佬对于预训练的教学帖子提到预训练模型的另外一种创建方法：可以正常创建模型，预训练模式选择n，然后src和dst的aligned文件夹中，放上人脸数据图片，然后就挂机跑
这时候
       self.options_show_override['lr_dropout'] = 'n'
            self.options_show_override['random_warp'] = False
            self.options_show_override['gan_power'] = 0.0
            self.options_show_override['random_hsv_power'] = 0.0
            self.options_show_override['face_style_power'] = 0.0
            self.options_show_override['bg_style_power'] = 0.0
            self.options_show_override['uniform_yaw'] = True
这些参数就不再是强制固定的，而是根据你自己选择Y还是N来开启或者关闭的
而src-src就是，修改bat加载的位置，让模型加载两次src或者把src的aligned同时放在src和dst里面对练。（实际上还是根据滚石大佬对于预训练的教学帖子提到预训练模型的另外一种创建方法：可以正常创建模型，预训练模式选择n，然后src和dst的aligned文件夹中，放上人脸数据图片，然后就挂机跑），所以这就是src-src参数自定

dfl9999

fghfdg 发表于 2025-2-3 23:11
我也没说什么，就是感觉论坛对于预训练的详细讨论的帖子好像没有。这里正好可以给各位大佬讲讲自己对于预 ...

因为论坛的主流是不开预训练直连开干，所以LJ模型遍地开花，能练出好模型的是少数中的少数，嘴眼只是让你更快找到嘴部和眼部极小值，把loss降1-1.5属于有手就行，模型收敛肯定是要关的，预训练的清晰度是可以被正训继承的，重复挂机训练能在预训练搞完就在预训练搞，正训只关注扭曲和精细化修补就行。

src-src初端看起来不错，结果会因为素材多样化的缺失导致模型过拟合，再因为大bs和巨量重复训练陷入局部最优解的陷阱出不来。

滚石说的那个方法还是属于正训，只不过src人脸集放入了所有人脸，我花了半年时间去练这类模型，结果就是模型真正要用的src人脸权限被稀释，模型用平均算法平均了相似度，模型神经元被大量原图一对一映射浪费而导致泛化缺失，强练甚至导致纹理丢失，预训练是不存在这类问题的。

预训练模型主要靠微调bs和学习率这两个超参实现模型微调，也不是拿来挂机就可以闭眼练的，任务是找到全局最优解，根本用不上扭曲和lrd、gan这些参数，预训练阶段任何参数都可以开，不存在屏蔽哪个或者哪个不生效，任何参数都可以保留到正训。

我只说我经历过的东西，我知道我说再多你也能一套套的，我的建议是你们有了动手的基础再谈，尽量避免望文生义，实在不行还是那句话，每个人按照自己喜欢的流程来就行

yongbutuiqu

fghfdg 发表于 2025-2-3 23:25
预训练实际上只使用了一份人脸数据集（无论你放在src或者dst再或者其他位置）

所以从某种意思上也能看作 ...

这版本说得最通俗清楚。感谢这帖子中所有大佬的发言。

yongbutuiqu

dfl9999 发表于 2025-2-4 00:25
因为论坛的主流是不开预训练直连开干，所以LJ模型遍地开花，能练出好模型的是少数中的少数，嘴眼只是让你 ...

你的观点总结下就是坛主的关闭预训练对练属于正训，会导泛华缺失，容易过拟合。用官方的方法不会。坛主的吴彦祖224那模型我使用后。觉得脸过油腻了，这是过拟合的表现吗？

yzc281

dfl9999 发表于 2025-2-4 00:25
因为论坛的主流是不开预训练直连开干，所以LJ模型遍地开花，能练出好模型的是少数中的少数，嘴眼只是让你 ...

这位大佬在哪里可以观摩一下你的作品

dfl9999

yzc281 发表于 2025-2-28 13:06
这位大佬在哪里可以观摩一下你的作品

You hurt me，看来不得不拿点东西出来了