【探讨】有没有可能基于DF模型给SRC超分，从而走捷径？

wtxx8888

Lau9 发表于 2023-11-17 23:50
这个我也试过，还行，但是topaz是对整个视频进行超分。我们希望背景模糊一点，人脸清晰一点。
但是topaz ...

超分这东西最好别碰，碰了就破坏原图。就好比某些特模糊的的图，连肉眼都分辨不出来到底是什么的，AI就更不知道了。
我做过一个实验，一个视频MP4，连续编码60遍后几乎没有清晰的五官了，用AI超分出来，跟原始的几乎就是两个人

Lau9

wtxx8888 发表于 2023-11-20 20:15
超分这东西最好别碰，碰了就破坏原图。就好比某些特模糊的的图，连肉眼都分辨不出来到底是什么的，AI就更 ...

十分赞同！

WaveBedo

猛男，你好啊
听说src用1024的，比用256的学得效果好
我不知真假。

df256模型，src前期用256，等练到最清晰的时候，src换成1024继续练到更清晰
这样是不是既提高了训练速度，又不影响效果？
不知道，你有没有测试过这种

come3002

WaveBedo 发表于 2024-1-26 16:45
猛男，你好啊
听说src用1024的，比用256的学得效果好
我不知真假。

resize不是关键。切脸的资源，获得的素材是否筛选去模糊得质量好一点的基础包等是关键。所以要分情况分析。假设刘天仙 同一部剧 同一个 中近景镜头 有 1080p,2k,4k 三个版本素材。

情景1： model 256分辨率。你的SRC不如底单SRC
训练者使用的是  精选的素材 （假如是 精选的 刘天仙 2K 中近景 切WF1024 并resize到256WF）， SRC 炼制一段时间至很清晰。
你拿到这个256丹 没有得到训练者的SRC。用 非常普通的  刘天仙 1080p 中近景 同一个镜头 切WF1024 。（假设虽然是WF1024但是 你的1080p版不如 训练者2k切的1024细节好）。这样的一般质量的src去训练，dfl （默认resize到256 去训练）。经过足够的训练，慢慢会覆写原始的底单/专丹信息，慢慢会会变的很普通。
情景2：model 256分辨率。你的SRC优于底单SRC。
训练者使用的是  精选的素材 （假如是 精选的4K 近景WF1024 并resize到256WF）， SRC 炼制一段时间至很清晰。
你拿到这个256丹 没有得到训练者的SRC。用 4k高码率 资源 刘天仙同一个 镜头，切的精选 WF1024 高质量的src（假设虽然是WF1024但是 是4k高码率版远好于2k切的1024细节 ）这样的高质量的src去训练，dfl （默认resize到256 去训练）。由于细节优于原始的底单/专丹信息 ，经过足够的训练，会慢慢提高质量。

WaveBedo

come3002 发表于 2024-1-26 17:19
resize不是关键。切脸的资源，获得的素材是否筛选去模糊得质量好一点的基础包等是关键。所以要分情况分析 ...

好的。
前期用256，后期用1024，
经过两次变换，模型、遮罩的精确度应该都受到影响，相当于增加了不确定因素，
所以，可能是没有必要这样做的

come3002

WaveBedo 发表于 2024-1-27 11:12
好的。
前期用256，后期用1024，
经过两次变换，模型、遮罩的精确度应该都受到影响，相当于增加了不确定 ...

问题可能是你用的 素材 上。

在底单基础上训练。先用精选包/ resize 到256 去做主体训练到比较清楚（精选包的做法：要用合适的4k剧切WF1024 src 全包。之后删重，再去模糊，精选出 WF1024基础包（能看清嘴唇纹理，牙齿齿缝为佳） 。）。
当需要补充时候再去 全包里搜集某些 镜头，想强化下牙齿就找下牙齿镜头（逐帧切割 略模糊也保存），想强化闭眼就找 闭眼包等。在基础包非常精准基础上，又能学到所需要的下牙齿，闭眼等镜头，同时让污染降低到最低。


如果，你先用的随便找的 512等，resize到 256。先训练一段时间到非常清楚，后找到 比较好的 1024，再训练到非常清楚。
这个时候就存在两个巨大隐患。
隐患1：你随便找的512中  模糊比例有多少，不太精准的素材比例有多少？
隐患2：你的wf1024第二阶段中，模糊比例有多少，不太精准的素材比例有多少。
假如两个阶段有少量的模糊，错误比例不大，影响不大；如果两个阶段有大量的模糊，慢慢就会污染积累。丹也会变很普通。


注：4k 高码率 资源 中近景能切1024一定不要切 512。当中近景切出 WF1024，筛选出能看清嘴唇纹理，牙齿齿缝等细节素材非常容易。
但切了WF512 略模糊的和非常清晰的极难区分。

WaveBedo

come3002 发表于 2024-1-27 11:38
问题可能是你用的 素材 上。

在底单基础上训练。先用精选包/ resize 到256 去做主体训练到比较清楚（精选 ...

好的