三十多万了不像怎么解决？

come3002

WaveBedo 发表于 2023-12-27 02:00
我有一套专门用来测试的dst，就五六十张
但每隔一段时间，停下训练来测试，还是太麻烦了
我是colab远程训 ...

一般最好的办法是先易后难。问题解决在萌芽中。
自己的电脑跑 小模型。练练就找1080p 中远景 ，近景 检测。
1.用小模型去跑，不断检测，以最喜欢的 镜头（有的人看中 bed激战，有的人是吃冰棍。）为切入点。搞清楚 该镜头 换脸失败，可能是src缺什么角度，缺什么表情，缺什么样光影。

网络下载 别人的作品截图为例。正脸还是 可以的。微侧脸 有些失败（遇到这种情况首先考虑该角度是否训练到位了没有，或者该角度SRC 漏齿素材是否偏少/缺乏？ ）。




早期能发现问题，补充相关训练/增加SRC 就增加src，是最佳捷径。

2.以补好SRC，练好的小模型的mode 去测试建立 DST数据库。比如 DST樱花 张三 正脸脸型不像，但是bed 哭特别像。DSt2樱花李四 正脸很像，但是大嘴巴哭却不像。DST3 樱花王五 侧脸很像。但是正脸不是很像。DST4 樱花 赵六 正脸 很像 bed哭也像，侧脸也很像。
这样为后面的 大模型 找到了合适的 DST思路。

3.最后归纳整理小模型的训练过程。大概没有什么遗漏，再租远程 跑 大分辨率模型。DST 检测依然 用 小模型选出的 全套赵六 加 樱花 张三bed 樱花李四正脸 樱花王五 侧脸等镜头即可。

WaveBedo

come3002 发表于 2023-12-27 10:36
一般最好的办法是先易后难。问题解决在萌芽中。
自己的电脑跑 小模型。练练就找1080p 中远景 ，近景 检测。 ...

好的。
------------
第一阶段扭曲一段时间之后，loss降不下去之后
开眼嘴时，你开扭曲吗？
我看到一部分教程会开扭曲，一部分教程却不开

come3002

WaveBedo 发表于 2023-12-27 11:01
好的。
------------
第一阶段扭曲一段时间之后，loss降不下去之后

你的src质量决定 src loss 下降的 阈值。
src是 远古720p 电视剧 切的。质量一般，妆容很复杂，嘴唇纹理基本看不到，眉毛看不清，下牙齿比较少。用小分辨率模型训练，按照坛主的三步走即可。扭曲并开口眼 （主要是为了眼神啊等）。src loss 一般比较难降下去。结果可想而知， 反正换脸 远古樱花 /1080p 中远景 最终这些眼部表情等 细节是看不清的

假如 4k 近景切割的素材。src妆容统一，嘴唇纹理 眉毛清晰，下牙齿比较清晰，扭曲 下 loss能降到比较低。等该 模型 所有细节都练的差不多了。换脸等质量的 4k樱花 中近景测试。如果4k 中近景下 面部清晰，但是口和眼睛 有点问题，就要考虑 扭曲 口眼  加强训练眼神训练。

WaveBedo

come3002 发表于 2023-12-27 11:22
你的src质量决定 src loss 下降的 阈值。
src是 远古720p 电视剧 切的。质量一般，妆容很复杂，嘴唇纹理基 ...

我之前开眼嘴，都是开扭曲的
但现在发觉开扭曲，怎么练眼嘴都对不上，与dst有较大差异

下面两个教程，开眼嘴都是不开扭曲的，我打算试试
【随风技术论】DFL换脸技术浅论<二>
关于训练万能模型的一点心得

come3002

WaveBedo 发表于 2023-12-27 11:48
我之前开眼嘴，都是开扭曲的
但现在发觉开扭曲，怎么练眼嘴都对不上，与dst有较大差异

src/dst 质量 ，既包括清晰素材占的（基础包比例越高越好），也包括 信息位点正确率（基础包  信息位点正确比例越高越好越容易 src-dst 的眼睛 嘴巴 眉毛对上）。
一般玩玩，不用管。跑就完事了。
要精品，对口和眼神要求较高。就要  对src/dst逐帧检查，剔除错误信息位点的图（移走或重新 切割）。
检测方法 。论坛 快切2.0 有个 导出信息位点

WaveBedo

come3002 发表于 2023-12-27 12:38
src/dst 质量 ，既包括清晰素材占的（基础包比例越高越好），也包括 信息位点正确率（基础包  信息位点正 ...

好的

mzh920

WaveBedo 发表于 2023-12-27 11:48
我之前开眼嘴，都是开扭曲的
但现在发觉开扭曲，怎么练眼嘴都对不上，与dst有较大差异

和扭曲没关系吧？试验完了告诉一下

WaveBedo

mzh920 发表于 2023-12-27 13:13
和扭曲没关系吧？试验完了告诉一下

应该是有关系的，我刚刚发现，我看的三个教程，我之前都理解错误了
----------
开眼嘴的时候，是要开扭曲，但关扭曲之后，还要再开眼嘴跑一段时间的
我之前都漏了后面那一步。我相信很多人应该也漏了
之所以眼嘴对不上，应该就是没有把扭曲关掉

你可以看看下面教程，看详细的部分，步骤3、步骤4
官网DFL2.0 使用指南（原作者9月12日更新）训练流程总结