【求助】预训练是否不能用SRC和DST的照片？

燕尾服的幻影

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

Deepseek告诉我，预训练放进SRC和DST的照片会影响正式训练，但是我已经把SRC的照片放进去预训练了（DST没有放进去），

我不想重新训练，请问还有补救的方法吗？

dfl9999

只要你预训练数据足够离散、有多样性，根本不影响，而且预训练数据最好包括一部分src和dst，预训练数据集单靠ffhq是不够的，剔除遮挡、污染和高噪声素材之后只有一万张可用

周二珂周三鸽

你已经开始训练了吗？

燕尾服的幻影

周二珂周三鸽 发表于 2025-9-8 23:05
你已经开始训练了吗？

还在预训练，还没开始正式训练。

燕尾服的幻影

dfl9999 发表于 2025-9-8 23:03
只要你预训练数据足够离散、有多样性，根本不影响，而且预训练数据最好包括一部分src和dst，预训练数据集单 ...

谢谢回复。你的说法跟Deepseek刚好相反，Deepseek让我不能放src和dst预训练，它是这样说的：

预训练模型的核心任务是学习通用人脸特征。现在它已经提前见过了你的SRC，这意味着：

模型已经“认识”了你的SRC：它已经学习了SRC的特定特征（独特的五官、肤色、痣等）。这听起来好像是好事？其实不然。

正式训练时的目标冲突：在正式训练阶段，模型的本职工作是 “从零开始学习这个新的SRC” 。但现在，它的权重中已经存在关于SRC的“记忆”。这会导致两个问题：

        懒惰/不专注：模型可能会依赖于预训练中的记忆，而不是认真地从你提供的SRC素材集中学习所有角度和表情。这可能导致它无法很好地泛化，对于SRC集中某些角度或表情表现很差。

        过拟合风险：模型可能会过快地“记住”SRC，导致在训练初期就出现很强的细节，但这些细节可能是片面和扭曲的，缺乏灵活性。最终结果可能在某些帧上完美，但在其他帧上崩坏。

简单比喻：
这就像让学生提前偷看了考试的一部分答案。在正式复习（正式训练）时，他可能不会全面复习所有知识点，而只依赖记忆中的碎片答案，导致知识体系不完整，考试中遇到没背过的题目就不会做了。

不过我觉得这可能是AI的“幻觉”，既然你说没问题那我就放心了。

dfl9999

燕尾服的幻影 发表于 2025-9-9 20:58
谢谢回复。你的说法跟Deepseek刚好相反，Deepseek让我不能放src和dst预训练，它是这样说的：

预训练模型 ...

ai幻觉是因为你提供的信息不够立体产生的，ai没有足够信息进行逻辑反推来自我纠正，单独的句式提问最容易这样，所以我提问都是用逻辑链加上已经印证实践结果来提问，如果你有一万张src，预训练投入几十张就够了，大量重复素材会让模型陷入偏向性甚至造成噪声