256模型能用在更高分辨率的视频合成吗？

come3002

yxyao 发表于 2024-4-9 21:59
感谢大佬详细的解答

这个实验反过来也说明，回归本质，多把时间放到搜集SRC上（可以不用，但得有）；好的SRC是一切的基础和根本；
练练就要检测，早发现问题。随时备份，随时准备反复打磨。

yxyao

come3002 发表于 2024-4-9 22:55
这个实验反过来也说明，回归本质，多把时间放到搜集SRC上（可以不用，但得有）；好的SRC是一切的基础和根 ...

是这样的，但是我喜欢的是老演员了，搜集的是几十年前的年轻时的资源
看来需要换个新生代选手收集了

come3002

yxyao 发表于 2024-4-10 16:20
是这样的，但是我喜欢的是老演员了，搜集的是几十年前的年轻时的资源
看来需要换个新生代选手收集了 ...

老资源码率低，切到的SRC细节丢失严重。推荐224/256/288模型分辨率炼制。
载体尽量精选，抬头低头仰头等脸型要接近。
换脸之后，用AI放大工具放大到你想要的2k,4k画质。

yxyao

come3002 发表于 2024-4-10 16:43
老资源码率低，切到的SRC细节丢失严重。推荐224/256/288模型分辨率炼制。
载体尽量精选，抬头低头仰头等脸 ...

多谢指导，src没什么细节，确实应该用相对较低的分辨率模型。
AI放大或修复我试过一些，总感觉会导致不像本人，所以就没应用，到时候再看看吧

come3002

yxyao 发表于 2024-4-10 19:57
多谢指导，src没什么细节，确实应该用相对较低的分辨率模型。
AI放大或修复我试过一些，总感觉会导致不像 ...

Ai放大是双刃剑。优点会放大，问题也会放大。
比如低分辨率的模型换脸如果跟本人略不像（720p，这些是可以容忍的/或不细看看不出来），那么放大后，变成4k了，因为看的清楚了，略不像的特征会极为明显，很强的违和感。
这个时候推荐低分辨率丹换脸的载体要精选。比如每部樱花在线录屏一小段（ 抬头，微笑bed等都切不少于1秒），20部组合成一个混合DST（以及记住这20部的编号）。
先第一次换脸720p，然后再AI放大。以平板/电脑播放，通过海选找到合适的载体。然后选出最佳的载体，备用即可（编号记下来）。

yxyao

come3002 发表于 2024-4-10 20:41
Ai放大是双刃剑。优点会放大，问题也会放大。
比如低分辨率的模型换脸如果跟本人略不像（720p，这些是可以 ...

感谢大佬的详解！我还有一个问题，就是src和dst脸型不同，尤其是侧脸轮廓，在合成后会产生重影，将mask erode和mask blur都开得很高并没有太好的效果，该怎么办呢

come3002

yxyao 发表于 2024-4-10 20:50
感谢大佬的详解！我还有一个问题，就是src和dst脸型不同，尤其是侧脸轮廓，在合成后会产生重影，将mask e ...

有个简单的办法
樱花A，B。。。。H等。可能A樱花正脸不像，仰角大嘴巴哭像 。B樱花可能正脸谈话 侧脸 都像，大嘴巴哭不像。C可能是 侧脸 仰角大嘴巴哭像，但正脸谈话不像。D 正脸谈话像，侧脸不像。大嘴巴哭不像。
简单的办法是记录A B。。。H每部的优点（记住编号和对应比较像 换脸的特殊镜头）。
折中选择，如果你可能你最重要 是仰角大嘴巴哭和侧脸。就选AC。
如果想 先来点谈话，再就是侧脸，就选择 BC。
海选的重要性就是在这里。将载体的优势最大化。
现在国产/樱花非常多，胖脸，瘦脸都有，老司机素材库只要足够多，慢慢海选总会选到合适镜头的载体就记录下来。

可能偶然机会找到各个镜头都很满意的一个樱花老师。那么她有多部作品，她的其他影视 基本可以按这个规律来操作即可，非常方便。

yxyao

come3002 发表于 2024-4-10 21:25
有个简单的办法
樱花A，B。。。。H等。可能A樱花正脸不像，仰角大嘴巴哭像 。B樱花可能正脸谈话 侧脸 都像 ...

懂了，根据脸型、角度、表情的对应来选择dst，多谢解答
那我具体操作时可以考虑在真正把目标当作dst训练前可以先合成一下看下匹配度，选择匹配度比较高的，再训练

come3002

yxyao 发表于 2024-4-10 21:37
懂了，根据脸型、角度、表情的对应来选择dst，多谢解答
那我具体操作时可以考虑在真正把目标当作dst ...

海选的樱花优先选择4k高码率。这样切WF1024的资源非常好。片段切换后比较好的DST做好备份。

由于你是小模型分辨率，可以先将片段4k压缩成720p，换脸之后，Ai再放大到4k。


将来Ai修复功能强大了。你的十年前的SRC能变更清晰了（相当于老资源WF512 也就看个牙齿的WF512，提升到能看更多嘴唇纹理，睫毛细节的WF1024 SRC）。想换更高模型分辨率的丹。直接用拿备份的海选并切取的4k 片段（WF1024）复用即可。
如下图。有的4k樱花细节 非常不错。