SRC里缺少而DST数据集有的角度是不是应该删掉

planenalp

wtxx8888 发表于 2024-5-5 16:35
GAN不是必开。我都是挂机纯迭代出细节，不需要GAN。LOSS低就好，我扭曲从来也不关。
还有LRD我也不开，无 ...

确实省心省力。。挂着挂着机就好了，不在意电费的话

wtxx8888

planenalp 发表于 2024-5-5 16:43
确实省心省力。。挂着挂着机就好了，不在意电费的话

哈哈，反正鱼与熊掌不可兼得，但我个人推荐无脑，因为开的东西少，纯净。
GAN与LRD，影响都是很难被清除的。如果返工，更特么的费劲费时间。

planenalp

wtxx8888 发表于 2024-5-5 16:46
哈哈，反正鱼与熊掌不可兼得，但我个人推荐无脑，因为开的东西少，纯净。
GAN与LRD，影响都是很难被清除的 ...

也是，就像补充SRC再也不用纠结不同时机可能产生的不良影响
很多事情都是这样，最简单有效的道路其实一开始就已经在那，只是内心总会忍不住想要瞎折腾一番

come3002

planenalp 发表于 2024-5-5 16:56
也是，就像补充SRC再也不用纠结不同时机可能产生的不良影响
很多事情都是这样，最简单有效的道路其实一开 ...

DFL实质是图像转换软件。
SRC-SRC 随机扭曲 转SRC-DST 随机扭曲。有几个要说明的点。
一、起始阶段素材要质量高

假设：神丹底单所用高质量素材。你准备的DST现在数据集质量非常好（FFHQ/樱花4k 为参照物）。
那么理论上  你拿来 训练SRC也应该质量好，先SRC-SRC扭曲对练，再转SRC-DST扭曲对练，训练时候就能很快各个细节对的上。
结果就是：所用的SRC质量高（跟神丹底单质量越接近越好） ，训练一段时间成像速度越快，loss下降越快；当转DST杂图，成像也很快，结果越能节约迭代时间。

举例SRC  看到 12-20道嘴唇纹理为佳，





五彩352模型分辨率下，训练大约到出8-12道嘴唇纹理。

SRC 各个角度嘴唇纹理较多，对练扭曲转 SRC-DST出 嘴唇纹理非常快。

假设：神丹底单质量很高。但是你用SRC起始质量很一般（几乎就是模糊，缺少了大量的细节）；几乎等于覆写神丹底单信息，洗掉了神丹底单的神效。故loss降低的很慢。之后转DST是优质非常好的DST，loss很难降低，因为细节由SRC决定(而不是你用的ffhq，樱花4k等 决定的)，训练效果并不明显。
若底单 每一张图牙齿都非常好。但你找的SRC质量一般， 下牙齿非常模糊，嘴唇纹理几乎看不到；即便是神丹底单，对练扭曲慢慢就洗掉了底单的牙齿，当转 SRC-DST出下牙齿和嘴唇纹理效率极低低。
有的人用神丹底单各种训练都效果较好。但是自己这样的折腾训练几乎看不到改进，有所困扰，自然会有一种失落感。可能没有与发现神丹底单，SRC质量 事实规律本质有关
或许很简单，反复打磨，丰富SRC角度，提高SRC细节质量（SRC  看到 12-20道嘴唇纹理为佳），丰富SRC光影等才是王道。


二、角度、光影上讲
底单，角度越全，光影越多；你拿来对练SRC（全角度，光影复杂）-SRC（全角度，光影复杂）开随机扭曲一段时间就特别快，转 SRC-DST数据集杂图（各种光影丰富）随机扭曲杂图，训练效果越快。



其他情况以此类推。

pasanonic

come3002 发表于 2024-5-5 18:19
DFL实质是图像转换软件。
SRC-SRC 随机扭曲 转SRC-DST 随机扭曲。有几个要说明的点。
一、起始阶段素材要 ...

你角度怎么凑齐的  一个框十几张图吗

come3002

pasanonic 发表于 2024-5-5 19:58
你角度怎么凑齐的  一个框十几张图吗

基础包的角度-各种资源慢慢凑。既要补，也尽量宁缺毋滥。
这只是一个基础包。每个格子数量不一样。
主体包为基础，根据不同场景 分门别类 储备一些补充包。
侧重你最需要的去补充，比如优先想补充樱花bed，其次想光影略复杂。
就先最需要bed仰角，bed仰角包优先去补充。
补bed仰角，如果需要换脸的 DST，bed仰角特别多。就 基础包添加准备好的bed仰角包（因为樱花bed会有一点模糊，故SRC bed仰角包也是略模糊也要留，甚至逐帧保留，此时（SRC为主体包+bed仰角包）；
完成之后，再对次要略复杂光影要求补充
如果某些原因喜欢光影略复杂场景，如需要灰暗（假设主体包灰暗不是很多）。就补充灰暗包。
灰暗SRC包，保留嘴唇纹理（SRC为主体包+灰暗能看到嘴唇纹理的SRC包）
如下图。左半脸 能看到多道嘴唇纹理

其他以此类推。

小分辨率模型 ，反复训练测试改进，打磨，慢慢让SRC丰富起来。

planenalp

come3002 发表于 2024-5-5 18:19
DFL实质是图像转换软件。
SRC-SRC 随机扭曲 转SRC-DST 随机扭曲。有几个要说明的点。
一、起始阶段素材要 ...

不久前在一个回复看到有人提越糊的图loss越低不适合用来判断loss值，越清晰的图细节越多loss越高越难练
现在在你这又看到相反的说法，好像也很有道理的样子
关于DFL经常有这种类似的公说公有理婆说婆有理的情况，所以搞得很精分

话说你后来新增的古力全角度SRC更新一下进原素材贴呗

come3002

planenalp 发表于 2024-5-5 21:28
不久前在一个回复看到有人提越糊的图loss越低不适合用来判断loss值，越清晰的图细节越多loss越高越难练
...

每个人换脸用途不一样。即便用同一份底单，有的侧重4k 近景，这种场景 需要 SRC略模糊的较少，就会从论坛下载src再去模糊，额外找一定优质细节的镜头补充；有的人侧重bed激战，这种场景 需要SRC很多略模糊的素材，反而要找一些特定镜头补充（ 转头，抬头等甚至逐帧保留）；还有的人直接从论坛下载直接炼制。
故决定用SRC质量有侧重，就会有差异；又加上步骤不同，每个人loss下降都有不同的感受。


我自己的全角度包，根据用途不同新建bed仰角包， 新建的灰暗包等 并不是仅仅取自 风起霓裳，故，暂时没有更新风起霓裳计划。

come3002

planenalp 发表于 2024-5-5 15:33
“然后最后收尾时，来一遍SRC-SRC，强化SRC就行了。”
刚好我在测试的320Liae卡这个阶段，请问这种Liae的 ...

liae模型 对练 开随机扭曲效果
我发现有位坛友之前试过。
坛友q635809224  
底丹：用的论坛里删除AB文件的底丹。
关于素材：坛友q635809224  自拍的，src 和 dst 的素材，WF1024是一模一样的，都是我自己，跟论坛前辈学习的方法，也是一个实验
全程ct_mode：none，
随机扭曲开到50多万次。







结果：只开随机扭曲，对练。零训练直接合成，效果很像src，细节上也扭曲出较好的睫毛等细节。
（注：坛友用的是删除过AB 底单开始练的，或许跟df 对练效果 有某些其他意想不到的变化）

planenalp

come3002 发表于 2024-5-5 22:24
liae模型 对练 开随机扭曲效果
我发现有位坛友之前试过。
坛友q635809224  

嗯我也有看到这个，可惜没有后续更新训练情况

0训练是可以直接合成，但是融合效果比较差，有时候会有轻微抖动、面具感等
所以我才会开始研究对练后的额外训练情况，然后就延伸出这么一大堆问题来

话说我用你的杨紫素材练的测试丹，全程对练和非全程对练两种情况0训练直接合成我的一个测试视频都会看到脸部抖动（正脸非模糊状态），但是再之前用论坛上下的另一个杨颖SRC素材结合同一个底丹练的测试丹不会出现这种情况，也测试了其它人的df和liae专丹也不会这样，所以感觉可以排除视频dst切脸问题，初步怀疑可能是杨紫SRC特征点不对，但是特意用快切导出特征点检查过感觉又不像是有错误的样子，刚好这里提到了顺便问问看你当时切杨紫是用原版切的还是用的快切工具？