ICEQ群纪录

cfab

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

本帖为Q群聊天纪录，记载下来以便随时学习。感谢群内各位大神的无私指导，造福我等初学者，在此一并感谢。如果有侵犯各位权利，请及时告知，谢谢。


    ★loss平滑请大家在中后期开，loss在0.5左右。强度3左右。此功能占用显存。比如rw和ct这些素材增强是随机的，你只对他训练一次就很难重现这个稳定态。loss平滑最大的意义在于，持久化被增强的素材的训练频度。保证特征提取效率。 loss在0.3后，大量正面素材是提取不到特征了，训练是无用功，0.15左右基本磨洋工。
         loss试验性的，bs越大占用显存越大，建议前期不要开，中期rw+loss +yaw可以加速模型整体成型。后期设备好的酌情考虑，褒贬不好说。  
        Loss优化器  普通卡开3，40g开6，80g开到8
    ★关闭Rg优化器就和原版一样 设置dfl-model 格式，所以不要问怎么转回原版的问题了。因为原版不支持512遮罩应用的素材
    ★ice的训练命令把--models-type me-model 改为 --models-type me-dfl ，然后运行训练，保存模型。可以拿回原版使用
    ★遮罩逻辑：实线保留，虚线排除。没有先后画的区分。虚线优先权于实线。
    ★我判断，不是非常准确。遮罩精细度上去好处，应用到训练素材参与训练可以提升模型细节。因为边缘试探更明确，减少训练量和后期时间，训练过程获取特征会更精确。不好地方是，素材要求变高了
    ★图名称后面有“<-”的标志  代表这张素材被增强参与训练，反转或者位移放大
    ★4.2) data_src util add landmarks debug images  批处理可以生成landmark图
    ★ 几十万就把遮罩关了练几万，可以减少模型爆色块。开rct和lct的时候一定要注意dst的素材不要有直方图过爆素材。ct开的原理是随机把dst素材色彩迁移到src。只要有过爆dst，基本会生成过爆色块
    ★loss 平滑 + rw + lct 组合 会有惊喜  ， lct需要一个精选dst素材库作为颜色迁移的参考点 ，当有问题的dst素材作为lct的迁移素材，最终生成很多奇怪素材颜色学习，导致很多特征点坏的
     ★第五列是不带ct的预览。开不开ct都会按权重渲染。所以都会偏色， 训练效果只看第二列和第五列。第四列可以忽略
     ★问：模型练完后 对模糊的DST效果极差 脸部五官放大怪异 对清晰的就效果很好，答：也许src多放点模糊素材 或者me版打开模糊增强
     ★问：dfl在训练的时候是按顺序对dst进行吞吐训练，还是随机挑选进行训练  答：src和dst都是随机，第一次随机因子安排整个队列，然后先进先出
      ★DEC后面的数字  loss平滑开启后，每批标注素材loss下降均值，loss平滑在src 0.5以下开或许好一点
      ★ 1024素材，训练512模型，如果没有应用训练遮罩，那么缩放后的脸型的眼嘴对不上，那么开眼嘴训练也会不对位，导致眼神不准。landmark的精度影响到眼嘴优先的训练
      ★比较好的办法，你的src有价值，dfl切成512，保存原版的帧。然后你要切256，就用mve读取512多脸数据。然后用512脸数据切成256。非常准
      ★可以用WF素材训练F模型。
      ★关于bs的设置，早期我在2群的结论我认为现在还有效。 如果你是新建模型，开始设置bs低一点，如果你的配置能开到16，你就设置6-8开始，如果是复用的模型，bs越大越好。因为模型优化器调参后幅度已经基本固定了，不管你设置什么参数，以目前dfl的cnn算法，最后你训练的bs达不到16，基本很难收敛到满意状态。


★ME版启动加 --auto-gen-config 自动生成yaml 更改YAML参数达到更改模型的效果


★   Resolution ( 64-640 ?:help ) : 在这里，您可以设置模型的分辨率，请记住，在训练过程中不能更改此选项。它会影响交换的面部的分辨率，模型的分辨率越高-学习的面部越详细，但训练的负担也将越来越长。 分辨率可以从64x64增至640x640，其增量为：16（对于常规和-U体系结构变体）32（用于-D和-UD体系结构变体）
-U可用尺寸  80  96   112  128  144  160  176  192  208  224  240  256  272  288  304  320  336 352  368  （64+N*16)
-UD可用尺寸  96  128  160  192  224  256   288  320  352  384  416  448  480   512  544  576  608  640  672  （64+N*32）
   
  ★   F脸模型更改为WF，新建一个同名的模型，除更改F为WF外，其它参数一致，生成新模型后，将旧模型的所有扩展名为npy的文件复制到新模型。（已知会清除迭代数，其它测试中），请做好模型备份。
      ★ aligned 目录下同时存在PAK和未打包头像，训练程序读取PAK包文件。



ICE功能中英对照， 有三个标记不明的批处理，没弄明白是什么功能，望有知道的同好指点一二，多谢。
1.01 extract images from video file________drop video on me.bat
1.02 cut video_______drop video on me.bat

1.11 源视频转图片 extract images from video data_src.bat
1.12 目标视频转图片 extract images from video data_dst FULL FPS.bat
1.13 目标图片降噪 denoise data_dst images.bat

2.01 data_SRC faceset Extract___________drop folder on me.bat
2.02 data_SRC faceset pack_____drop aligned folder on me.bat
2.03 data_SRC faceset unpack___drop aligned folder on me.bat
2.04 data_SRC util faceset resize_____drop aligned folder on me.bat

2.12 源头像提取 data_src faceset extract.bat
2.13 源头像手动提取 data_src faceset extract MANUAL.bat
2.20 源头像排序 data_src sort.bat
2.31 源头像改变大小 data_src util faceset resize.bat
2.32 源头像打包 data_src util faceset pack.bat
2.33 源头像解包 data_src util faceset unpack.bat
2.34 源头像数据保存 data_src util faceset metadata save.bat
2.35 源头像数据恢复  data_src util faceset metadata restore.bat
2.36 源头像增强 data_src util faceset enhance.bat
2.37 源头像生成landmark data_src util add landmarks debug images.bat
2.41 源头像文件名恢复  data_src util recover original filename.bat
2.42 不明  data_src_util_export_faceset_mask.bat
***机翻  修复样本生成中的比例因子。添加了 util --export-faceset-mask PS：实时交互换face项目容错率大幅度提升

3.01 data_DST faceset Extract___________drop folder on me.bat
3.02 data_DST faceset pack_____drop aligned folder on me.bat
3.03 data_DST faceset unpack___drop aligned folder on me.bat

3.11 目标头像提取 data_dst faceset extract.bat
3.12 目标头像手动提取 data_dst faceset extract MANUAL.bat
3.13 目标头像提取 手动修复 data_dst faceset extract + manual fix.bat
3.14 目标头像 删除调试图片后手动提取  data_dst faceset MANUAL RE-EXTRACT DELETED ALIGNED_DEBUG.bat
3.20 目标头像排序 data_dst sort.bat
3.31 目标头像更改大小 data_dst util faceset resize.bat
3.32 目标头像打包 data_dst util faceset pack.bat
3.33 目标头像解包 data_dst util faceset unpack.bat
3.34 目标头像名称恢复  data_dst util recover original filename.bat
3.41 不明  data_dst_util_export_faceset_mask.bat

4.01 data_mask Edit__________________drop aligned folder on me.bat
4.02 data_trained mask - apply_______drop aligned folder on me.bat
4.03 data_trained mask - remove_____drop aligned folder on me.bat

4.11 目标头像遮罩编辑  data_dst mask - edit.bat
4.12 目标头像遮罩抓取 data_dst mask - fetch.bat
4.13 不明  data_dst label mask -  remove.bat
4.14 目标头像遮罩训练应用 data_dst trained mask - apply.bat
4.15 目标遮罩训练应用移除 data_dst trained mask - remove.bat
4.21 源头像遮罩编码 data_src mask - edit.bat
4.22 源头像遮罩抓取  data_src mask - fetch.bat
4.23 源头像遮罩移除 data_src label mask - remove.bat
4.24 源头像遮罩训练应用 data_src trained mask - apply.bat
4.25 源头像遮罩训练应用移除 data_src trained mask - remove.bat
4.30 遮罩训练 Xseg train.bat
5.1 训练SAEHD模型 train SAEHD.bat
5.2 训练AMP模型 源到源 train AMP SRC-SRC.bat
5.3 训练AMP模型  train AMP.bat
7.1 应用AVATAR  merge AVATAR.bat
7.2 应用SAEHD模型   merge SAEHD.bat
7.3 应用AMP模型 merge AMP.bat
8.1 合成MP4视频 merged to mp4.bat
8.2 合成MP4无损视频  merged to mp4 lossless.bat
8.3 合成MOV无损视频  merged to mov lossless.bat
8.4 合成AVI视频  merged to avi.bat
9.1 导出阿凡达模型为DFM格式 export AVATAR as dfm.bat
9.2 导出SAEHD为DFM格式 export SAEHD as dfm.bat
9.3 导出AMP为DFM格式 export AMP as dfm.bat







[size=13.3333px]

[size=13.3333px]

pasanonic

可惜我是a卡

avicciii

谢谢楼主分享

五彩艺术

有心人啊

ken2099

发现我也贡献了其中几条

nofeel

谢谢分享

Syai1900

大佬，我试了一下ice版本，内容太多，用不惯，想改回原来的，但是模型回不去了（忘了备份），请问改怎么改回原版，就ice的训练命令把--models-type me-model 改为 --models-type me-dfl ，然后运行训练，保存模型。可以拿回原版使用这段话看不懂，也没找选项，求解，谢谢啦

cfab

比如SAHED模型，在 z5. Train目录下，用记事本打开 5.1 train SAEHD.bat 这个文件，
原内容如下：
@echo off
call ..\_internal\setenvICE.bat

"%PYTHON_EXECUTABLE%" "%DFL_ROOT%\main.py" train ^
    --training-data-src-dir "%WORKSPACE%\data_src\aligned" ^
    --training-data-dst-dir "%WORKSPACE%\data_dst\aligned" ^
    --pretraining-data-dir "%INTERNAL%\pretrain_faces" ^
    --model-dir "%WORKSPACE%\model" ^
    --models-type me-model^
    --model SAEHD ^
    --saving-time 25^
    --training-time 0

pause

更改  
--models-type me-model^   为  --models-type me-dfl^
保存。
重新运行5.1 train SAEHD.bat
出现预览界面后，按回车保存模型，这时的模型就可以放回原版了。

操作前建议保存模型。

er232

非常感谢分享！ICE的知识太少了