超高清AI换脸ICE2023-Mulan木兰1.601 预览内测, deepfacelab me升级版

bug4dfldata

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:4.71  参与人数:14  我的评分:未评

ICE 2023-MULAN（木兰）  Face-AI 超高清AI换脸版本

• FaceAI-ICE （前生Deepfacelab Me)新的独创训练架构 Mulan-木兰
• 超出预期的人脸细节和训练效率
  

• Mulan 架构多个原创算法训练你的AI换脸模型，包括ICE系列 V3、V4、ICE-V7...
• Mulan 的通过不同算法结构及参数规模，支持对不同GPU进行适配，取得平衡的训练效果
• ICE目前继续支持DFL原版模型训练
  

• Mulan 实验性算法 ICE-V7可以支持640以上模型稳定训练收敛
• ICE-V8 算法在多卡环境下可以面对8K视频帧
  

• ICE-V7 拥用超大视野提取特征器结构、多尺度特征融合，不俗的转移成像能力
• Mulan 的皮肤纹理优先特性，以往不能呈现皮肤细节，现在不成问题
  

• GAN 作用模拟生成的皮肤细节效果往往不尽人意
• Mulan 的训练将获得皮肤细节的困难点转移到素材上，只要SRC素材拥有足够皮肤细节，就能转移到生成脸上，获得比GAN更富有张力的图像
  

• 新的色彩视野，通过注意力网络，区域色彩训练不在损坏脸部构图
  

• 在Mulan加持下，高分辨率模型收敛毫无问题
  

• Mulan 的部分细节的训练线性的，随着迭代进度呈现
• 逼真度的瓶颈是你的机器和GPU
  

• 木兰加速度训练架构，练丹不是几个月的事情了，也许只需要几周甚至几天
  

• 目前唯一对N卡40系做了全面优化架构，启用新的API支持
  

• 合成器实验性功能【多层遮罩】，并可分开设置遮罩的边界及模糊
  

• 多层遮罩区分了脸和遮挡物图层，解决遮挡物参数与脸边界冲突，更能体现512遮罩在合成中细节优势
  

• 以上均为内测版本预览内容 ，ICE1.6x 版本内测中
• ICE 技术群 366893641 不定期发布最新测试版本，供大家尝鲜
• ...
  

1.31C 版本分割线---------》--》-->---此版本已下架，只保留更新补丁-----------------------------------------------------------

• 模型训练权重更加平衡有效，兼顾全局成像及细节特征提取！
• 新的512分辨率遮罩模型，精细的边界和细节
• ICE5V2 蒸馏模型获得更全面的支持，高分辨率有更快成型速度，节约三分之一时效
• 兼容DeepFacelab 原版和Me版本模型读取
• 继承自Me版本的AMP架构 ，大比例的快
• 插件支持: 素材增强插件、合成增强插件、后期nuke插件
  

• 新的结构流程训练器，极大改善某些大规格和高参模型训练显存的紧迫感，后期不能打开GAN的尴尬；
• 启用优化器，妈妈在也不用担心OOM了
  

• Loss 平滑功能加入 ，各种角度训练收放自如；
• 模型收敛成型更快，模型对不同角度素材推理更平衡；
• 显卡不在是一名优秀的磨洋工，省电同时，宝在也不用熬夜分类极端素材单独训练；
  

• 角度、角度、角度、现在只需要打开【LOSS平滑】开关；
  

• 新的实验性Gan算法，即使模糊和运动素材，也会有不错效果，告别只能换清晰脸的尴尬；
• ICE优化器可以让Gan跑在更多层和极端参数；
  

• 新的遮罩模型算法，我们将256遮罩分辨率扩展到512分辨率，更精细遮罩推理更利于后期制作；
• 合成器将会因为精细遮罩有些新的变化
  

• 多遮罩模型管理，训练及合成选用不同类型自定义遮罩更便捷；
• 无缝支持原版256遮罩模型混用，支持原版256的遮罩素材，建议以512分辨率重新精细化
• 未来将支持多个遮罩组合变体，应对特殊场景需求；
  

• 起点变高，要求不高，即使是8G显存，512遮罩模型也是能跑的动；
  

• 升级规格的遮罩模型，对于素材精细度要求变高了，但会有全新值得表现
• 新的遮罩算法作用逻辑，加减法更明确清晰
• 精细遮罩应用于训练，减少不必要训练量
  

• 实验性功能，素材和模型的匹配会有一些新的工具呈现；
• 通过新的工具，让我们在素材和模型参数找到平衡；
  

• 预览界面新增Xseg landmake显示，现在你可以看到不同分辨率和脸型素材，仿射变换到模型中的实际位置
• landmake 眼睛和嘴部位置准确度将直接影响眼嘴优先选项训练效果，实际边界是有一定容错空间，但也不能偏移太大；
• 素材分辨率脸型和模型一致，将获得最优匹配；
  

• 全中文界面，utf-8支持；
• 可扩展到非编软件接口
  

• 更多细节，逐步更新。。。
  

因为原版Deepfacelab 目前不支持512分辨率遮罩，ICE训练后模型想转回原版使用，请不要下载。

下载ICE: 百度云下载链接




解压暗号
暗号.txt (30 Bytes, 下载次数: 3759)

2023-1-22 00:43 上传

点击文件名下载附件

!!!!! 大家不要私信我了，任何问题QQ群反馈！！！！！！！！！！！！！
!!!!! 请不要私信问我要Me版本和RG版本，都是去年的算法，用它们的爹ICE吧！！！！

版本特点：

• 没有特点！
  

已知问题：

• 中文界面切换报错；（已修复）
• 旧的DFL模型第一次训练报错Version，为兼容旧版本DFL模型训练，一个缺省配置冲突；（已修复）
• 英文界面合成报错1004；（已修复）
• 使用早期测试版训练的 512遮罩模型报版本错误；（已修复）
• ICE蒸馏模型报V2版本错误；（已修复）
• 训练开始报1001错误
• 合成超分GPEN插件无效；
• Linux 版本因需要魔改Linux 环境 TensorFlow版本，暂时不能使用；
• 使用10系显卡出现CPU占用变高；
• 非交互界面命令行融合，整合模式没有生效，待修复；（已修复）
• 使用ICE训练后模型回到官方原版DFL不能读取模型的问题；
• 512遮罩模型应用后素材，用于原版，遮罩范围变大；
• 目录z8- To mp4下的生成视频，最后报红字“pipe:: End of file” 错误
• 执行部分工具 util faceset 命令，出错，报类似错误信息“TypeError: save_faceset_metadata_folder() takes no keyword arguments” ；（已修复）
• “纹理优先”训练参数无法打开问题；
  

解决办法：

• 问题1 - 5 ：请重新下载，更新到 ICE1.2b以上版本解决 ；
• 问题6 ：此错误是早期Me版本2.53 大模型格式问题导致，已知问题，请在Me2.53版本 z6目录，转换成DFL模型格式，ICE就可以正常读取。
• 问题7 ：因几个超分插件集成环境比较大，没有实装，后续提供自行下载；
• 问题9 ：因为打开RG优化器，小显存采用优化数据GPU 卸载技术，关闭RG试试；
• 问题11 ：ICE是一下全新训练器，兼容原版模型读取，（注意是兼容）然后采用ICE自己算法加速训练效能，成像更快，优化算法减少大量无效训练。但新的512级别遮罩改动素材结构，一些算法和优化器来自新的方向和想法，虽然ICE也提供了转回原版方法。不确定能和官方原版完全兼容，未知问题未经过测试，建议你有转回原版需求就不用ICE。请继续使用原版；
• 问题12 ：ICE版本512遮罩模型写入的精细遮罩素材，可能在原版使用存在问题；因为原版不能处理这个范围格式；
• 问题13 ：合成报红字“pipe:: End of file” 错误，因为Setup环境关闭了合成的遮罩输出选项  “合成帧生成mask遮罩: 关闭” ，生成视频时缺少mask遮罩，提示错误，不影响，请重新打开这个选项，不会报错。
• 问题14：解决办法，下载补丁文件： main.zip (4.54 KB, 下载次数: 240)
  2023-2-12 11:54 上传

  点击文件名下载附件
  ，解压文件main.py,复制到ICE的安装路径：“X:\DF_ICE\_internal\DeepFaceLab_ICE” 覆盖掉原来的main.py 文件解决；
  

• 问题15：“纹理优先”参数需要ICE V2的蒸馏模型才可以打开，原版DFL架构模型不支持这选项开启；
  

其它信息：

• 预览版本灯光投影SRC插件（未实装）；
• 预览版本的DST妆容迁移未生效（未实装）；
• 预览版本的AVATAR 模型未包含；
• 使用原版模型格式工作，训练模型前，请用文本编辑【z5. Train】目录对应训练命令， “--models-type me-model” 修改为 “--models-type dfl-model”，请记住，只是使用原版模型格式，原版模型格式还是因为512遮罩问题，放回原版存在未知兼容性。
  

关于使用的一些知识点：


梯度剪裁何时打开？

• 当你的模型训练中阶段自动保存显示Loss平均值突高突低，当模型容易发生爆色块，当模型容易崩溃，此时你应该打开梯度剪裁。
• 当你的素材质量极低，当你打开CT进行颜色迁移！当你打开真脸和gan生成纹理和细节，你应该考虑打开梯度剪裁。
• 梯度剪裁的负作用，有些模型需要极端条件，打开剃度剪裁可能导致无法模型收敛。因此，任何时候，打开模型备份是必要的，模型备份的回退是训练模型的基本操作之一，也是经常会使用的模型优化方案。回退模型比修改训练参数去修复某状况更有效。
  

Loss平滑如何使用？

• 新建模型没必要打开Loss平滑，因为需要均衡权重；
• 当模型降到平均0.5以下，可以考虑打开，此刻每次迭代会参杂大量0.6-0.7迭代。观察黄蓝曲线图，会有大量毛刺尖峰，可以使用Loss平滑，提升权重；
• 当你SRC素材角度很全，但训练预览图中观测，正面脸清晰，侧脸和死亡角度模糊，即使打开侧脸优化也无法改善，打开Loss平滑可以提升侧脸和死亡角度权重，侧脸优化作用是提升侧脸素材权重 ，Loss平滑将在训练过程提升训练权重，有效改善模型训练效率；
• 打开Loss平滑，要求对素材精准挑选，减少错误的素材影响
• Loss平滑作用域覆盖, 素材增强（扭曲素材、CT、反转） 、真脸、gan生成纹理；
  

关于学习率，一些新的改变！

• 很多人发现ICE没原版的 lr_dropout这一参数选项，通过验证，DFL原版 lr_dropout=0.3 取值在前前小参数及低分辨率模型下工作有极优表现，日新月异，现在GPU性能大幅提高，我们开始尝试更大规格的模型，我们训练模型时间开始变长，原来的设置对于过拟合抑制似乎不在有效，随着迭代数量开始变大，512或高参数模型在训练过程中有多次过拟化情况，一些模型几乎没法收敛。所以，ICE对于过拟合的抑制改变算法，经过多数模型的验证，ICE对于神经元的冻结采取非线性关系，dropout的数量和参数有对应关系，目的是保护这些大分辨率模型有效收敛，因此，lr_dropout代替项变为“ 使用dropout瘦化神经网络，提升模型泛化能力”，你可以参考原来训练方法中，涉及到 lr_dropout，去开启，建议，对于高参模型，可以提前启用；
• 增加自定义学习率“[5e-05] 自定义学习率，请谨慎修改。【Learning rate】”的出发点，也是考虑现在模型的参数和分辨率在变大，新训练的大规格模型，前期可以增大学习率，因为参数变大后，大学习率可以有效提升效率，对于训练后期，某些模型不在收敛，我们可以尝试手动降低学习率（不宜低于3e-05），指数降低学习率的好处是权重更新更精细，当然训练量变高。新手可以取默认值，有动手能力同学可以备份模型，尝试这个值对模型收敛的影响。
  

模型架构df-ud,liae-ud中的u和d:

• ’ u ‘ 选项，u选项作用是对每个素材的像素进行归一化处理，有效提升生成脸细节一致性，但这选项可能导致训练不稳定或收敛速度慢。另一个可能，它的优点化为缺点，它可能会破坏图像的全局颜色和对比度的一致性，导致图像的视觉质量下降，你会发现带u的架构画面略显普通，缺少灵魂。
• ‘ d ’ 选项，关于d, 很多人误以为是double的d, 2x的意思，其实来源于一种"depth_to_space" 深度换尺寸算法 , depth_to_space函数在一些深度学习中有广泛使用，例如图像超分辨率，图像压缩和解压缩，变分自编码器中提升图像分辨率。带d 选项，SAEHD 解码器最后解码出图像后，会增加四个卷积叠加出一个4倍深度空间向量，然后使用depth_to_spaced算法，把模型输出图像分辨率提升为两倍。
  

           d选项的优点：
           1、架构中开启d，它可以有效地提高解码出来图像的分辨率，应用到合成中不致于引入模糊。
           2、它可以减少参数量和计算量，提高模型的效率和性能（性能指有限显存可运行的模型规格）。
           3、它可以利用深度维上的信息，增强图像的细节和质量，类似超分，一些细节的脑补。
            d选项负作用：
           1、它减少的计算量相对于获得更高尺度输出分辨率来衡量，增加四个卷积计算和depth_to_spaced计算同样占用资源，增加了整体训练时间，是一种时间换尺寸算法。
           2、depth_to_spaced可能会导致输出图像张量中存在一些空洞或重叠区域，影响图像的连续性和完整性，图像上下帧不一致，帧闪烁和跳跃。
           3、对于资源充沛使用者，可替代方案很多，可以尝试抛弃d参数，在合成中使用超分算法，包括GPEN等更优质的超分算法替代这个选项。

开始模型训练，出错退出！

• 情况一、开始训练，几秒后退出，提示请按任意键继续，没有其它提示；
• 情况二、弹出错误信息，错误信息里包含“OOM”的词；解决办法：模型参数太高，设置BS太大，
• 情况三、错误信息包含提示：“F tensorflow/core/common_runtime/device_event_mgr...." ；
• 情况四、提示内存错误；
  

有上问题无外乎，机器配置和模型不匹配，设置虚拟空间太小，显存太小，训练模型参数太高、BS设置太大，解决办法：

• 设置虚拟内存大于100G，即使你内存很大也需要虚拟内存
• 重复修改BS大小测试训练，从BS=2开始递增测试，找到合适的BS数量
• 关闭某些占用显存的参数，适当降低模型参数、更换更低参数模型
• 更换更高端显卡（显存优先）
  

再次提示：任何旧版本模型还是遮罩模型，使用ICE 训练、合成前，第一次运行请在选取GPU后，三秒时间进入训练参数，更新到ICE 训练器参数！

使用前备份好你的模型及数据！

使用前备份好你的模型及数据！


使用前备份好你的模型及数据！


其它问题，请反馈至Q群 366893641

kingboy
2023 / 6/ 02

ken2099

rangersky 发表于 2023-1-23 00:46
训练的时候选择gpu然后就报错是什么原因？

1.这是个高阶版本，许多的新特性其实新手用不上的，新人研究这个会很头疼。
2.这是个预览版本，大概相当于测试版本，适合有钻研精神的老手。
所以，不建议新人使用。

844720294

试了三天，好像对小分辨率的模型效果不明显，而且无论从loss值还是第四列成像来看，好像还变慢了？（用的正在输入224的）

缥缈花

大佬，还没回归吗？显存不够用了，求旧版本很急用

DFLive

844720294 发表于 2023-2-27 07:57
试了三天，好像对小分辨率的模型效果不明显，而且无论从loss值还是第四列成像来看，好像还变慢了？（用的正 ...

要是必须上高分辨率，又要买卡，有点难顶啊。

sad123asdaa

大佬，这个对小模型是不是不太友好啊我用这个训练了7万多次都看不到什么效果，用原版1万次就很明显了
还是我的安装或者参数设置有问题

zxd9527

教授威武    祝教授新的一年  日理万鸡

2772403575

教授新年快乐！

1541235112

教授真厉害，辛苦了，祝生活顺利，万事如意哈

港城黎明

教授威武    祝教授新的一年  日理万鸡

五彩艺术

教授辛苦了

lieyandatianshi

教授辛苦了

文杰

教授辛苦了

snngfn

教授威武，造福lsp

leijun

不明觉厉，支持一波

vwlrkwa

教授威武！！！新年快乐！！！！