陈钰琪 WF_512 33000张 职场剧精选角度，一集一集选的

Xat

感谢分享

落魄的时候

看起来不错

adamwu

感谢分享，购买成功

ainuo

感谢大佬

Mrdeepfake

哥们，能否分享一下剪切的原视频啊！我看了看，Landmark 准确性惨不忍睹啊，修正都修不过来。角度偏离正面一些（甚至是正面角度），鼻子歪是常事，鼻梁位置偏离实际鼻梁位置也是常见的事；侧脸与侧俯脸 Landmark 更是无法忍受，除了普遍的鼻梁位置不准确外，另一侧被部分遮挡（即使遮挡不多）的眼睛，Landmark 更是无法忍受，经常定位靠里，比如只囊括到了黑眼球（大面积白色眼球部位被排除在外），甚至位置都大错特错，极大靠内，定位到远离那只实际被部分遮挡的眼睛。我猜你可能是用魔切软件快速切脸的，精度实在不敢恭维......若再在你基础上用 DFL 切脸，则清晰度会进一步下降。所以特求原始切脸视频。我重新切好后，可以给你分享一下更准确的脸集。

seancai110

Mrdeepfake 发表于 2023-8-14 15:30
哥们，能否分享一下剪切的原视频啊！我看了看，Landmark 准确性惨不忍睹啊，修正都修不过来。角度偏离正面 ...

其实landmark准不准不重要。训练的时候landmark信息不输入模型，只是用来切脸和合成的时候对齐位置而已。

Nomensbb

感谢分享

Mrdeepfake

seancai110 发表于 2023-8-14 15:52
其实landmark准不准不重要。训练的时候landmark信息不输入模型，只是用来切脸和合成的时候对齐位置而已。 ...

训练时，landmark信息输不输入模型先存疑。我个人认为五官位置、欧拉角等这类最关键、最重要信息是肯定要输入的（或者通过某种不易察觉的方式输入），所谓的对齐也应该指的是精准确定一个人的五官位置（等效于精准确定一个人的人脸三维模型）。如果landmark信息不通过某种途径输入模型，怎么会有“眼睛、鼻子、嘴优先训练”选项。另外，你可以试试，如果dst landmark精准性较低，合成脸对应的 landmark 位置清晰度也会降低的，往往还有位置、角度也异常（比如歪鼻子）或者存在某种程度的变形。


Landmark偏离太大，肯定会产生不利影响的。五官位置偏差太大了，五官位置是编码和解码密集点。再加上如果素材数目太多，Landmark偏差范围太大，自由度大大增加，对模型收敛不利。当然，对相似性也会造成不利影响。如果 src 和 dst landmark 都不精准，除了会使合成变模糊、相似性降低外，还可能造成合成的五官抖动。如果你平时仔细注意，就会发现 landmark 准确性很差的某张 src 脸很难跑清晰，dst眼睛定位不准的（比如对于一些大角度dst侧俯脸，landmark 有时将眉毛和眼睛的中央位置误认为眼睛），合成的头像眼睛也会模糊（在流畅播放视频时就会看起来不正常）......允许landmark有一定偏差，但不能太离谱。我都怀疑，正常模型用这些离谱占比多的素材训练都会“跑坏了”，偏离了正常模型。像这套素材，我检查了一下，landmark离谱的素材数量占比挺多，对我这样追求精益求精的，真是难以接受的。

seancai110

Mrdeepfake 发表于 2023-8-15 00:31
训练时，landmark信息输不输入模型先存疑。我个人认为五官位置、欧拉角等这类最关键、最重要信息是肯定要 ...

你不用存疑，DFL的代码就这么写的。输入模型的只有图片，没有landmark。

至于对齐问题。虽然你src不准，但是dst也不准啊 反正都是同一套切脸算法切出来，大家不准的方向是一致的。只要不是那种切脸错误，landmark一团乱麻的就行。
唯一影响比较大的是嘴眼优化用的遮罩，是用landmark生成的。但是只要素材够多，上万张图片，这点误差不影响模型训练。

Mrdeepfake

seancai110 发表于 2023-8-15 04:39
你不用存疑，DFL的代码就这么写的。输入模型的只有图片，没有landmark。

至于对齐问题。虽然你src不准， ...

首先，我不能接受合成结果五官抖动（不知道你们见没见过那种合成结果五官虚浮抖动的作品）、五官存在模糊或变形、整个脸清晰度及相似性降低、某些镜头合成违和，以及模型训练收敛难度增大这些问题。这些问题都与 landmark 不准密切相关。

其次，虽然我不太懂代码，也没搜什么工具去打开查看。但还是不认为训练过程会不输入 landmark 信息。脸最重要的参数是啥！当然是五官位置，欧拉角之类的参数了。要不然 DFL 怎么会有 landmark 修正这一步骤。另外，即使训练过程中真不需要直接输入（或读取）欧拉角、landmark 这类参数，只用图片训练，但要记得错误的 landmark 或偏离较大的 landmark 会使脸图发生旋转甚至还有缩放的，这样相当于训练样本错误（这种机制其实相当于变相输入 landmark 信息，只是更适合显卡直接训练）。我相信，大家对训练脸集中异常的旋转、缩放脸已经司空见惯了，只不过这些脸 landmark 严重错误，并且数量占比不多。少量这些坏脸夹杂在大海一样的训练样本中对神经网络训练不会产生太大影响（但模型仍有奔溃风险，说不定什么时候就突然奔溃了）。另外，即使训练一开始就加载进脸集，但训练过程中 DFL 会不断与 aligned 文件夹通信的，你训练中修改文件夹名称试试训练一会儿会不会报错！我不知道训练过程中 DFL 与 aligned 文件夹通讯的信息里有没有包含 landmark、欧拉角这类信息。当然，即使不包含也没关系，如上所述，因为 aligned 中参与训练的脸图通过图片旋转、缩放等方式，本身已经相当于变相输入了 landmark、欧拉角等信息。错误或偏离较大的 landmark 必然会导致错误的训练样本。

还有，他切的这套脸脸集 landmark 不是偏差小，而是对同一类角度偏差较大甚至可以说离谱或接近离谱边缘。你的做法属于破罐子破摔。先不提训练过程实际会变相输入 landmark，或者退一万步讲，即使训练过程中真的与 landmark 信息一点都无关，但合成时总要参考啊！准确的 landmark 才（应该）是唯一的参考标准！不提 landmark 偏得离谱的 dst 脸合成会非常糟糕！一团乱麻的 landmark 会使唯一正确的合成标准偏离。光合成标准偏离就令人头疼了！若你用训练好的模型去合成一张 landmark 很准确的脸会如何？会不会反而产生模糊、变形等各种异常现象！也许你说，我 src 同一角度准确的 landmark 脸数目占比就很多啊，所以合成没多大问题。如果正常 landmark 合成如此，那对于本来同一角度 landmark 却偏离较大的 dst 脸，合成结果又如何？岂不是会出现异常！准确 landmark 脸合成正常了，偏离较大 landmark 脸就会合成异常；偏离较大 landmark 脸正常了，准确 landmark 脸就会合成异常。这里异常指诸如五官或脸部发生不同程度的模糊、变形、角度偏离、与 src 相似性降低等异常现象。二者难以同时合成正常。你不会训练好了这种“混乱模型”（比如某一角度 landmark 统一偏离较大 ），处理起准确 landmark 脸却存在问题，劣币驱逐良币，还得重新训练吧！这是舍本逐末。还是那句话，我接受不了开头提到的次等作品以及 landmark 偏得有些离谱（或接近离谱）带来的种种其他问题。当然，要求低的，可以忽略，看自己意愿及愿意花的功夫了。