SRC里缺少而DST数据集有的角度是不是应该删掉

come3002

planenalp 发表于 2024-5-5 22:55
嗯我也有看到这个，可惜没有后续更新训练情况

0训练是可以直接合成，但是融合效果比较差，有时候会有轻 ...

魔切 ，快切v2 最大是WF1024.
杨紫我分享的WF2048毫无疑问用的原版。你可以用WF2048  resize压缩一次到1024。
WF2048转的同一份的WF1024包，部分我记不清了。如果信息位点比较准就是原版。

planenalp

come3002 发表于 2024-5-5 23:16
魔切 ，快切v2 最大是WF1024.
杨紫我分享的WF2048毫无疑问用的原版。你可以用WF2048  resize压缩一次到102 ...

我是直接用你压缩成1024的版本来练的，刚才提的检查特诊点也是检查的1024版本，目测看不出异样
这么说可能是压缩成1024的过程产生了某些未知问题？

come3002

planenalp 发表于 2024-5-5 23:21
我是直接用你压缩成1024的版本来练的，刚才提的检查特诊点也是检查的1024版本，目测看不出异样
这么说可 ...

当时没用reseze命令。
用的切脸的办法，至于是 用的原版还是 用魔切，我记不清了。

planenalp

come3002 发表于 2024-5-5 23:27
当时没用reseze命令。
用的切脸的办法，至于是 用的原版还是 用魔切，我记不清了。

好吧，怎么也想不到会栽在这种点上，这大半个月可能又白练了

come3002

planenalp 发表于 2024-5-5 23:41
好吧，怎么也想不到会栽在这种点上，这大半个月可能又白练了

即便是原版错误率低，也会有 错误；故 论坛下载的资源 需要下载后 从头用快切V2 筛查一次（当时没有快切V2）。

planenalp

come3002 发表于 2024-5-5 23:47
即便是原版错误率低，也会有 错误；故 论坛下载的资源 需要下载后 从头用快切V2 筛查一次（当时没有快切V ...

大角度有错也就认了，我现在是纯正脸非模糊状态下的合成都看到明显抖动，最开始以为是因为迭代次数不够所以没在意，后来怎么练都还有才感觉到不对劲，只能通过和新DST额外训练几轮来改善
奇怪的是发现不对劲之后特意用快切V2大概检查了下也没发现明显的错误，所以一直想不通到底是哪里出了问题

come3002

planenalp 发表于 2024-5-5 23:57
大角度有错也就认了，我现在是纯正脸非模糊状态下的合成都看到明显抖动，最开始以为是因为迭代次数不够所 ...

合成用的DST（比如樱花一段视频）用的什么切脸工具？

planenalp

come3002 发表于 2024-5-6 00:28
合成用的DST（比如樱花一段视频）用的什么切脸工具？

我也不记得了，很久之前切的，不过根据帧图命名规则判断应该是原版，快切V2的话命名会多很多个0，可能因为这只是个超级短的跳舞测试小视频总共只有505帧所以当时懒得特意改用快切吧，也就是之前跟你提过刚好发现炸丹的同一个视频

主要是已经尝试过N个其它丹0训练直接合成都不会抖动，包括相同底丹不同SRC练的测试专丹也不会，想得到的各种变量都算是试了1遍，所以才开始怀疑是不是SRC问题
当然如果确认不是，并且还能找到抖动原因就最好了，我也不想白费大半个月功夫

我晚点用原版重切一次这个DST再试试看吧

七分清醒

再分享一下我后面找到的官方RTT_model_224_V2模型 训练步骤经验，如图，一开始除了眼嘴以外都一起全开的，差不多了就把眼嘴也加上，挺靠谱的人跑的，应该不错

come3002

planenalp 发表于 2024-5-6 01:06
我也不记得了，很久之前切的，不过根据帧图命名规则判断应该是原版，快切V2的话命名会多很多个0，可能因 ...

你给我的我合成后就删除了。
用快切，用原版，分别都切一次
如果一个正常一个异常说明是 切法问题。
如果两个都异常。再用图片浏览器快进merged，逐帧分析是不是有的帧没有换好，尤其要是不是看遮挡人脸的帧。模糊帧 没有换好。
比如两个丹模糊帧都异常说明src 和dst太清晰，不适合直接合成模糊帧。故你训练一会就会改善。或者干脆根据 舞蹈动作异常在src或dst中加一点 0.5s的杨紫/其他人也可以类似起身（类似于舞蹈的转身啊）啊，杨紫转头啊镜头转头包（类似于舞蹈的模糊也逐帧保留）。

找到一个下蹲动作测试了一下：
切法：快切v2。
model 2.杨紫28W正常练（重置迭代，全程16bs，20w后开启大LOSS专训）
W24，E80,

截图00.00.3.00为正常换脸

00.00.03.04快速下蹲时候，换脸失败。


初步推测，疑似 训练时候 DST未加入 类似下蹲的模糊帧。故，遇到下蹲类似的模糊帧，容易换脸失败。


下一步 进行 原版切割。再测试该下蹲动作。