256dfud,50w 修改 liae-ud的 实验初探。

come3002

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

声明：此法 不适合直播，只是 本地 换脸樱花的一个变化方法。 dfl的是樱花换脸的重要工具。模型 原版常用分两大类分支。 DF极高的相似度，和liae 极为优质的光影。 传统印象，DF/liae 在 建立模型，类别 分辨率和四维一旦确定。无法改变。走了分支后，要么一口气连到底，要么半路放弃，重新炼制新的丹。 6月到现在，前期对修改 模型分辨率做了预实验。对修改四维的也做了尝试，发现能支持修改。并在修改后发现有信息继承的作用。 前期图文实验：https://dfldata.cc/forum.php?mod ... =1&extra=#pid513046     对模型的 分辨率和DD的修改大大拓宽了model的灵活运用。但是 DF→liae 的界限却 尚未涉及。       本着实验性的原则，对256dfud384 96 96 28 model 参数中的 DF 进行修改为256 liae-ud 384 96 96 28，仅就修改 liae后进行实验看修改后能否快速 炼制细节。从而尝试修改 DF →liae类别上有所突破。       借着新版Torch大大节约显存的东风，来 对DFl类别修改、DF 修改liae ，分辨率修改+ 提升 四维，摸索更全面更可行的练丹道理。      尽最大可能的挽回一些 类别 分辨率 等 设置上 失误 的model，降低从零重建的损耗失误成本，减少 时间和算力损失，提高创建效率。 model 修改前情况： 256dfud 384 96 96 28 model 50w迭代，预训练pretain true 44w；并炼制出 少量睫毛。 经过了 pretain 关闭；正训srcA  src-src 充当dst  对联，并记录大约随机扭曲2w 出4道下牙齿。 又经历过 更好素材，变成 srcB 随机扭曲对联，关闭随机扭曲对联，保存。累计50w。 此时 训练 历经 预训练杂图 -SRCA-SRB。目前 用的 srcB图片素材 13000张。 修改后 仅dfud变成liae-ud 其他一致。 准备两个组，一个新建的256liae-ud对照组，一个修改liae-du的实验组。 采用原训练的 设置bs16 ，依然保持 之前的 13000张 图片素材（主要为df-liae的信息呈递）。相同条件训练。 预期与假设 假设1：实验组，model 报错，dfl不支持 DF修改liae 。 假设2：实验组，model 通过。说明 dfl支持DF修改liae。 A 实验组 跟对照组一致，速度非常慢，说明实验失败。说明 实验中 的dfud 50w model 修改 liae 引起 model 信息的清空。已经跑了50w 修改 liae-ud无意义。 B： 实验组 跟对照组相比，更慢，速度出奇的慢，说明实验失败。说明 实验中 的dfud 50w model 修改 liae 引起 model 信息的污染。已经跑了50w 修改 liae-ud无意义。 C 实验组 快于对照组。说明 实验组速度非常快，是继承了50w model的 残存的信息。速度差别越大，已经跑了dfud 50w 修改liae的意义越大。 对照组 900迭代。人脸和环境有较清晰的界线。眉毛没有出现 对照组 1800迭代，依然没有眉毛出现。 对照组2400迭代，开始有眉毛信息 对照组 3000迭代，有眉毛。但是 嘴巴 无牙齿白班。 实验组900迭代。无报错，切换到遮罩看。 可看到部分图片有较好的眉毛信息。 实验发现。1800迭代，未报错。切换到遮罩看，人脸和周围环境有清晰的界线。 2000迭代，未报错。发现 已经 有上下 牙齿 白班出现。 3000迭代，大角度俯角 已经开始出现人脸。 12000迭代，没有报错，并炼制出更多细节。 找一个备份10000 迭代 256liae（256dfud修改而来）合成一次。没报错，能合成。 WETJ都是0. 4w迭代，没有报错。炼制更多细节。 第一行 发现 ，部分图片额头皱纹、大嘴巴 上磨牙 炼制出来了。 眼睛 练出 两个亮光点。 6w迭代。下牙齿部分出现。 开启 转liae的 第一次随机扭曲 开随机扭曲。src-src src 充当dst对联， 观察炼制部分下牙齿等炼制速度。 68000，开始，很快发现部分图片出4道下牙齿。部分图片出丰富的光影。 大约跑5000迭代累计72955暂停。 72955-转关闭随机 对联，src-src 充当dst。 大约跑500迭代，简称 73500 关随机对联。 部分图片 出现 下牙齿、光影 等细节。 随机扭曲 ：关闭随机  ，呈现高随机占比，以锁定 更高的相似度适当增加契合度。 8.17 补充：转256liae修改 高分辨率实验，（可选） 新版Torch 修改为 352liae。SRC B 图片不变。bs 12. 200迭代出眉毛。500迭代出 牙齿白班。1000迭代出上牙齿齿缝。1800-200迭代部分图片隐约出 下牙齿 1道齿缝，部分图片光影 练出。2500迭代 出3道下牙齿齿缝，3000迭代，更多图片出4道 下牙齿齿缝。 实验说明，转256liae修改 352liae高分辨率 下牙齿 光影 训练速度极快； 比从零训练高分辨率liae 352快 太多太多了 （256liae 支持修改 384等更高分辨率；分辨率越高 要求显存高、炼制慢） 256dfud 第一次 随机扭曲 对联 vs liae 后第一次 随机扭曲对联 比较。 查看训练记录。预训练44w丹，正训 256 srcA第一次随机扭曲 大约2w 出下牙齿；liae 第一次随机扭曲 仅仅几千就 出下牙齿。 最初有一种设想。就是dfud→liae 。如果仅仅获得的 信息相当于 是提供了liae的 预训练 pretain true。就相当于正常liae丹的第一随机扭曲速度慢的特点，应该 按4-6w左右出下牙齿。 推测df转换来的liae 。其 dfud时期的随机扭曲能力得到了一定的呈递下来。 合成测试 进行liae 未开随机扭曲 前合成。累计 6w迭代，合成测试。 左边原图dst，左2 256liae.   左3 256dfud 一个分支；  左4 256dfud 随机扭曲一个分支丹 左2 左3 左4  为同一个256dfud丹而来。均为零训练直接合成。且未对dst开随机扭曲 和关随机扭曲训练。 合成相同的遮罩，WETJ 均为0. 光影分析： dst光影鼻梁 非常亮，左2的 鼻梁的光影 方面比较亮，左3 左4 则正常亮度。 跟dst光影还原度上，256liae 确实要比  左3和左4 256dfud要好一些。 细节分析，左2 左3 都有 上下 牙齿，左4 只有上牙齿。左3 左4 都偏离dst，表现为 左4是 仅上牙齿，左3 为 嘴巴张开 的更大；左2的 256 liae 牙齿 更契合原图。 在进行liae 开 随机扭曲 对联 几千迭代合成测试 ，累计7w迭代合成测试。   找dst图片进行 零训练直接 合成。并与6w的未随机扭曲 的 做对比。 左边是6w，右边是 随机扭曲 对联 72955。 WETJ 均为0. 位置关系看，两个图片 的眼睛位置、颧骨位置发生迁移，随机扭曲会降低契合。 细节看 ，均有 下牙齿。 73500 关闭随机对联。src-src 充当dst 跑500迭代。 跟 dst原图测试。 （零训练直接合成，未训练过 该dst ） 结果 比较像 src 的五官。跟dst 明显不同。 相似度与设计的预期吻合。随机扭曲 ：关闭随机  ，呈现高随机占比，以锁定 随机扭曲得到的src相似度，同时适当增加契合度。 7w随机扭曲对联右图，和 73500关随机 对联， 左图  对比。 （零训练直接合成，未训练过 该dst ） 位置关系看，两个图片 的眼睛位置、颧骨位置发生迁移，关随机后表现更契合。 细节看 ，均有 下牙齿。 dfud和转换liae的相似度和契合度综合分析： dst并齿图 零训练直接合成时。 256 dfud 随机扭曲 对联 vs 转换 liae 随机扭曲 对联： 前者相似度极高。但是表现为不同于dst的并齿，仅 上牙齿；liae 则表现更契合dst。 256dfud 随机转关随机 对联 vs 转换 liae 随机转关随机 对联。 前者相似度更高，但是表现为不同于dst的并齿，嘴巴更张大一些；liae则表现更契合一点。 dfud 尤其随机扭曲，src提供表情信息；liae 可有一定的借助 dst的表情作用。这一结果 跟坛友的一致。 下牙齿的信息传递链： 256df 转换256liae 炼制出 部分下牙齿后，  → 转256liae开随机扭曲炼制 下牙齿 易→ 转256关随机扭曲 炼制 下牙齿 易 →转352liae炼制 下牙齿 易。 这一现象在 之前 256 dfud 炼制基本类似。 256正训 关闭随机 炼制下牙齿 后 → 256dfud开随机扭曲对联 炼制 下牙齿 易 → 256关随机扭曲 炼制 下牙齿 易→转高分辨率炼制 下牙齿 易。 ；不再重复描述。 从上磨牙看关于信息继承： 整理发现，隐藏了 一套上牙齿为例的的信息传递路线 a 256dfud 预训练  炼制出上磨牙 信息 b 正训上磨牙 有一定的炼制加速 c 更换了src 上磨牙 炼制 加速 d 256DF换成256/352liae ， 上磨牙的炼制也依然较快。 a-b-c ，这条线 在之前的 预实验 已经证实。学过的上磨牙，后一阶段就会非常快捷。如下图 这是b1 dfud正训44w 关闭跑随机扭曲 5000迭代 时候的上磨牙炼制截图和 开随机扭曲 13000迭代 的上磨牙 这是 b2 随机扭曲。上磨牙 一条 上磨牙 信息传递链，就组建起来。 a 256dfud 预训练  炼制出上磨牙 信息 →b 正训上磨牙 有一定的炼制加速 →c 更换了src 上磨牙 炼制 加速 →d DF换成liae ， 上磨牙的炼制也依然较快。 值得注意的是，到了 c-d 阶段，哪怕是 DF更改了 liae。上磨牙等细节 也有较好信息传递作用。 间接 证明，df-转liae 存在下牙齿的信息传递 不是偶然现象；df-转liae 上磨牙 也存在信息传递；演绎推理，df-转liae有各种信息传递，那么这意义就大了。 结果发现，实验组训练没有报错，可以进行训练。预览图上看，实验组明显的快于对照组。接近 预测是 假设2 C。 两次合成看，没有报错，均能合成人脸。并且跑到6w迭代 合成后 光影比dfud 要略好，同时细节看更契合原图。体现了 liae的优质光影、同时又契合dst原图的特点。 讨论      DF是基础，liae是高端。两大分支在之前若干时间，无法交联。长久以来，几乎所有玩家一个dfud练好封存后。之后转为 liae 想玩一玩。这就决定 必须要第2个丹，从零训练一个liae。当换成liae后，相同分辨率和四维下，由于liae炼制难度大远大于DF。导致发现问题也特别晚，非常不利于 修复src让src成长。一旦错误需要大量迭代弥补，因而试错成本极高极高。很多即便发现 src 有问题，要么 半途放弃。要么一口气练到底 凑合使用。别无他法。基于前期 一些修改分辨率修改DD训练，本实验 进行了 DF→liae-ud的修改。试图跨越类别的壁垒。       256DFud →修改256liae-ud 后，没有报错。改后 能否有信息传递。实验发现实验组修改后   远快于 对照实验。如 900迭代眉毛炼制快速出现（实验组要2400迭代-3000），这些眉毛信息不是凭空而来，推测是 继承了  256dfud底单 的信息；合成对比发现 liae的优质光影的特点。 找到了部分下牙齿、上磨牙 df-liae的均有信息传递的证据；从而使得修改有意义。打通了 模型 类别之间的界线，撬开了 model 修改的最重的那块板。       查看记录的 该256 dfud预训练 → 第一次随机扭曲 要2w迭代出4道下牙齿；liae丹第一次随机扭曲只会更慢。而转化来的liae 随机扭曲 几千就做到了 4道下牙齿，纯净而且效率高。 比 复用 liae预训练丹 要快太多太多（删除interAB 法，条件不同，无法对比）。      全程参与，获得更多的炼制体验。同一套杂图数据，同一套src，全程自己参与，256dfud和256liae互为对照易对比发现src B的优势不足，易找到问题的根源；获得更多自主选择，想要更像用256dfud（需要极强的src），想光影更好用256/352liae（可借助dst的部分表情），让 模型 切换 和 按目的去合理的灵活的 使用 256df 、256/352liae 成为可能。       值得注意的是，发现了 信息 的 a→b→c→d 的信息传递链， 也是一种 炼制的新线索，从而 启示了一种新炼制思路。即 先易后难法炼制，为先进行256DF训练 a→b→c，后期转liae c→d 铺平了道路。       先易后难的核心：第一阶段错误由256DF解决 a→b→c完成；第二阶段 光影质感由liae提升 d 解决（转256/352liae随机扭曲 、关闭随机扭曲等）。     详细的说，即通过 256DF  a→b→c快速炼制的优势去 练手，熟悉流程，掌握技巧。发现问题快，并通过Ai工具 修补角度 修补表情 修补光影 等等修补后，再训练看是否改善，二次修补等从而让src成长强大起来炼制dfud model；但是 df的上限决定，炼制质感是比较难的。交给第二阶段。 256 DF成熟之后备份， 再改成256 /352liae， c→d利用强大的 质感能力 并继承 dfud model 信息呈递（眉毛900迭代 而对照需要2400-3000迭代，上磨牙快速练出，从零炼制不值要多少迭代），快速出256/352liae 优质的质感结果。      liae如此强大，优质作品，是不是就用liae就要舍弃dfud。我的观点可能不同，更倾向于分阶段合理运用；      简称为特殊dfud-liae模式/ dfud-剪映-liae 模式。一个专丹再强，都要提及要用到合适的脸型。dfud的先天优势，可筛选合适脸型载体; 剪映强大修改脸型能力，在dfud提供信息基础上对dst的瘦脸等修复处理，liae 强大的光影能力，再去用liae合成。既保留了高的src相似度高，又优质光影和契合的 优质作品。从而避开了高分辨率的弊端和陷阱。可以预设一个场景，如果 从零训练 某liae 如 384 24G 显存的等高分辨率liae，要数月以上炼制，那么 非常难发现 某镜头缺憾，只会认为是训练时机不够。直到关闭随机 若干 合成才发现 某镜头效果不尽人意也可能花费天价的算力修复，其费时费力的弊端显露无疑。筛选载体方面，用384liae每换一个dst都总是差点意思，再去找下一个载体还是不合适，而再去考虑修复脸型的问题。但liae契合高 是为筛选 埋下的隐患。让筛选载体和复用极难。只有高手才会解决，得到优质作品。     简化版玩法：（新手玩家速成法）     以基础为本（保底的相似度极高的256dfud）；快速转化为liae提升为辅（几万迭代得到光影更优质的 256/352liae）。256dfud 先筛选出合适载体，1000个樱花总会有一部分相似的载体吧。再把 筛选出的合适的载体分类，一般画质的载体 想更像就用256dfud，普通的中景等镜头用dfud既像，又较契合 确保最高的相似度；筛选的合适的优质的画质载体，不需要经过剪映修改，直接把想要画质和光影更好就换上几w迭代 跑出的 转换而来的256liae 使用即可（条件好零训练直接合成，条件弱，随机跑一点，关闭随机跑一点点即可合成）。       （ 注1：基于 相似度 极高 为本，只适合樱花；不适合直播） （注2：44w 256dfud 预训练丹，是我从零自己炼制。扣除44w，真正正训 2套src 跑256dfud 只跑了6w；转256liae 1套srcB 只跑了7w， 跑7w 就有光影的提升；转352liae高分 3000出 4道下牙齿齿缝。相比高分辨率的384liae、416liae、512liae都是数月 炼制。df转liae法极大降低了炼制门槛，节约了时间和算力。 文中涉及的 随机扭曲对联的 SRC具体要求，可以看：专丹及换脸的新练法 https://dfldata.cc/forum.php?mod=viewthread&tid=16918

Tsing518

你这精神值得