SRC里缺少而DST数据集有的角度是不是应该删掉

planenalp

come3002 发表于 2024-5-6 08:09
你给我的我合成后就删除了。
用快切，用原版，分别都切一次
如果一个正常一个异常说明是 切法问题。

不不不，你理解错我意思了
我说的抖动部分是在视频开头的全正脸无遮挡无大动作的清晰人脸状态，并且其它丹同样方式0训练直接合成都正常，后面动作幅度比较大也有模糊的部分也看不出抖不抖了，也远没达到“太清晰”的程度毕竟只是个TikTok下载的视频分辨率就那么多

不过合成其它测试视频倒是没有看到明显的抖动，就像之前炸丹一样也是只有合成现在这个视频才出现色块其它视频不会有，真神奇，这个视频特别容易暴露出问题

至于你说的两种重切我还没测完，进度只到重切了原版的确认会抖，快切还没测
因为正在将WF2048用原版resize成WF512完全重练打算看看究竟是不是WF1024的问题，目前只迭代了几千次随便试了下还是会抖，不过这么低迭代数说明不了什么
本来想重来的练个1-2W左右再试0训练合成和剩下的快切重切的，没想到你已经开始研究歪了方向
看来我还是先暂停训练测试下第二种用快切重切DST的0训练结果吧

come3002

planenalp 发表于 2024-5-6 10:31
不不不，你理解错我意思了
我说的抖动部分是在视频开头的全正脸无遮挡无大动作的清晰人脸状态，并 ...

我说的抖动部分是在视频开头的全正脸无遮挡无大动作的清晰人脸状态
======================
我在测试之前给我的 舞蹈dst ，只在00.00.03.04下蹲发现异常。静止状态没发现异常。
但是舞蹈dst 不是全正脸无遮挡。无法重现你的 问题。
你能否发给我一份 全正脸 无遮挡 无动作的 这个dst视频。
几秒钟也可以。我顺手测试下。

下蹲快速动作的几帧，快切和原版也不一样。
原版 问题更严重，鼻子直接变成了 淡蓝色。感官会很异常。
快切鼻子 问题小的多。


左边是原版，中间是快切。快切合成效果远远好于原版。


发现 结果跟你类似。对于模糊帧 原版（原版手切也不容易切出来）不如快切。

planenalp

come3002 发表于 2024-5-6 10:40
我说的抖动部分是在视频开头的全正脸无遮挡无大动作的清晰人脸状态
======================
我在测试之前 ...

就？是同一个dst视频啊，抖动就是出现在镜头大幅度移动前的部分，大概是0-170帧区间
顺便说一下刚用快切V2也重切了一下DST，0训练合成，抖动问题还在

come3002

planenalp 发表于 2024-5-6 10:51
就？是同一个dst视频啊，抖动就是出现在镜头大幅度移动前的部分，大概是0-170帧区间
顺便说一下刚用快切V ...

解决方案：
方法一：放弃这种原版手切都失败的 DST镜头（505张图片 大约在 188-191。我手切失败）你可以看看debug。
方法二，训练时候，DST要添加这样的 错误镜头。
错误的也加。
增加 model的对错误帧的泛化能力

planenalp

come3002 发表于 2024-5-6 10:57
解决方案：
方法一：放弃这种原版手切都失败的 DST镜头（505张图片 188-191）你可以看看debug。
方法二， ...

不是啊。。都说了脸部抖动出现在0-170帧

之后的大幅度镜头运动模糊部分我早已经确认过必须通过额外训练才能融合，我之前给你提供的DST是已经用MVE修正过失败的切脸了，这个部分不在此次讨论范围内

come3002

planenalp 发表于 2024-5-6 11:01
不是啊。。都说了脸部抖动出现在0-170帧

之后的大幅度镜头运动模糊部分我早已经确认过必须通过额外训练 ...

我合成后拉到 剪映了试了，逐帧测试了0-170帧没有抖动。
合成参数是 W24，E80.

1-180帧。我剪映一一对比看了。
用20帧为一单位截图。融合很好。

七分清醒

come3002 发表于 2024-5-5 18:19
DFL实质是图像转换软件。
SRC-SRC 随机扭曲 转SRC-DST 随机扭曲。有几个要说明的点。
一、起始阶段素材要 ...

假如我用高清素材当主体包，后面补大约三分之一的角度图呢（768+512）？官方的224模型应该不挑食，所以这样是不是理论上也不会很慢

come3002

七分清醒 发表于 2024-5-6 19:12
假如我用高清素材当主体包，后面补大约三分之一的角度图呢（768+512）？官方的224模型应该不挑食，所以这 ...

先备份 高清素材做的主体包 model A；
添加时候先抓主要矛盾。如果主要矛盾 是 提升 灰暗 场景，其次 提升 bed仰角。
比如  感觉 SRC灰暗 少一点，合成灰暗场景不尽人意。就添加 灰暗 继续练就可以得到modelB 做灰暗分支。
随时可以分把modelA做主线重新做 bed 仰角 新分支 比如 model C。
其他情况以此类推