256模型能用在更高分辨率的视频合成吗？

405759601

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

256模型在给更高分辨率的视频合成时，是不是脸部会模糊？比如我用256模型进行训练，训练好后对1080P的视频进行换脸，那换出来的结果是不是脸部会变模糊？因为模型输出的结果是256x256的图？

感谢解答！

DFLive

按你的说法，是不是输出1920x1080的图才不会模糊呢？那显卡超冒烟都换不了4k视频了。换图又不是铺满画面，保证了SRC的质量和不低于224标参的模型，基本上可以清晰。

Deannnn

善用参数T

taipanlan

你可以这么理解，当视频里的一帧，人脸所占的大小正好是256及以下的时候，换脸效果会最清晰；当这一帧人脸大小超过256的时候，就相当于用4K大的屏幕看了个360p的视频，就会开始变得模糊，人脸越大越模糊，近景特写换脸效果就会变差

405759601

这样的话 我切脸的时候直接切成256的图是不是效率会更高一点并且训练效果也差不多？

haixin121

405759601 发表于 2024-3-20 09:40
这样的话 我切脸的时候直接切成256的图是不是效率会更高一点并且训练效果也差不多？ ...

一般切图的分辨率是模型的1.5以上。这是训练模型的效果才好

come3002

405759601 发表于 2024-3-20 09:40
这样的话 我切脸的时候直接切成256的图是不是效率会更高一点并且训练效果也差不多？ ...

问题1：我用256模型进行训练，训练好后对1080P的视频进行换脸
256模型，不仅仅是256x256. 合成时候开T，可以更多信息效果，基本可以给1080p 近景换脸。



手头刚好有4k 测试举例。
4k近景，
下图，人物侧躺，屏幕高度2160. 这样推算人头像高度大约 为1536x1536（debug红色框就是人头像区域），
用的是352模型，合成开T。人头像区域1536x1536实质远远高于 352x352.

左边是效果。右边是原版。




细节看，大约能清晰看到 4根长睫毛，（上传论坛有压缩）




352模型分辨率基本满足4k近景（屏幕高度2160）换脸。出现远远高于352x352的效果。
同理256模型分辨率，理论上也基本满足1080p（屏幕高度1080），远远高于256x256效果。


问题2：我切脸的时候直接切成256的图是不是效率会更高一点并且训练效果也差不多
原版默认参数是WF512，质量90，不能切WF256。
另外我用 快切2.0试过 直接切WF256.人脸几乎糊了。细节丢失严重。

推荐做法一般就是几天热度，随便玩玩给1080p换脸。切脸找部电视剧切脸一路默认。
切脸 dfl 使用默认 WF512，质量90%。

要玩的精细一点，给4k近景换脸。找4k高码率，近景切 WF1024（能保留更多的睫毛细节），训练352模型时候用resize 压缩到352（细节损失小，能保留更多的睫毛细节）开始训练比较快。
训练后合成开T。
下图 是当时测试训练352模型时候的一张截图。只开随机扭曲。
用的是WF1024切脸，resize到352，

能看到睫毛细节得到较好保留。

yxyao

come3002 发表于 2024-4-6 21:13
问题1：我用256模型进行训练，训练好后对1080P的视频进行换脸
256模型，不仅仅是256x256. 合成时候开T，可 ...

你好，这个睫毛是不是需要每一张src都要有非常清晰的睫毛？因为我试过如果src里只放几张具有清晰睫毛的图片，模型能还原出来睫毛，但是一旦我将所有src都放进去，练一会儿，以前存在的睫毛也会变糊。请问你的模型参数是什么？

come3002

yxyao 发表于 2024-4-8 12:19
你好，这个睫毛是不是需要每一张src都要有非常清晰的睫毛？因为我试过如果src里只放几张具有清晰睫毛的图 ...

我的睫毛是实验阶段。
dfl实质是图像转换软件。一般做法是先易后难。
先跑基础比如10000张出脸型（脸型出的很快）；精选 各个角度的下牙齿8-9个齿缝比如500张（牙齿齿缝间距较小） ，之后出各个角度的嘴唇纹理10-20道清晰比如500张（嘴唇纹理每道纹理更小）。最后如果各个角度都有长睫毛 ，有条件最后出睫毛理想 越多越好（长睫毛每道间距比嘴唇纹理还要略小一点）。
如果没有条件。如果你只有部分角度几张可以拿出手的SRC图片，可想而知，训练的结果只能部分角度出长睫毛。当某些角度练出长睫毛后，基本这个丹定型了。最多用全包跑一小会就要收尾（不能太多，会覆写你练出的睫毛）。

对于某些SRC长睫毛素材很稀有的时候，有个办法可以额外获得更多的角度。
备份model基础上，开随机扭曲出睫毛，可能获得更多角度的长睫毛。

测试：
随机扭曲丹 352五彩dfudt。
SRC 古力 DST另外女星。随机扭曲训练。（见7楼图片，主要是仰角）
检测：找另外一个角度测试（这个角度接近正常视角，跟 我训练长睫毛用的 SRC和DST 睫毛图片相差大约10°）。
零训练直接合成
左边原图（这个角度DST很多时候睫毛很一般），右边是作品。


结果：作品也出现了较好的睫毛。（图片上传论坛有压缩）

证明：开随机扭曲训练睫毛，有助于获得更多的额外的角度的睫毛信息，满足更泛化的镜头使用。
当需要睫毛时候，用这个扭曲睫毛丹，去找DST合成即可。

关于参数
不是越高越好，我得到过别人炼制的 384liae高参 24G显存才能跑古力丹，也没练出睫毛来；坛友反馈512liae 专业卡才能跑也没练出睫毛；
最佳办法是小分辨率模型反复打磨 比如训练基本步骤，基础问题；
再换中等合适分辨率模型反复打磨比较细节的问题。参数中等，出效果快。也容易发现问题，练废了也不心疼。比如我自己之前练睫毛失败了多次，最近采用扭曲睫毛做临时用的补救办法；通过训练发现不足，比如优质睫毛少，那么就去搜集更多优质SRC 睫毛素材，让睫毛角度更多，镜头更丰富。
随着基础问题，细节问题等不断解决，让SRC素材不断完善，同时优化训练策略，才是王道

（个人观点仅供参考）

yxyao

come3002 发表于 2024-4-8 13:30
我的睫毛是实验阶段。
dfl实质是图像转换软件。一般做法是先易后难。
先跑基础比如10000张出脸型（脸型出 ...

感谢大佬详细的解答