利用Deepfacelab Me可视化工具对模型训练参数调优【进阶教程】

bug4dfldata

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

你还在看不懂模型训练中的黄蓝图吗？
我们试试TensorBoard可视化工具，让你对模型训练的过程有一些更直观的认识！

首先，要你要拥有 Deepfacelab Me 版本，请更新到Sp1 V2.4 最新版，支持TensorBoard可视化分析。

可爱的传送门：【魔改增强版】DeepFaceLabMe_2022_RG_SP1Ver2.40新春版【3.27更新】

操作步骤：

打开Deepfacelab Me 的训练目录 【  z5.train 】

1、运行对应模型训练启动命令

提示：文件名带  “_Me_Tb” 结尾的批处理命令，内置支持启动TensorBoard 可视化面板。

本例：

• 开始一个Liae-udt的模型
• 我们只需要运行 6) train SAEHD_Me_Tb.bat
  

2、选择训练的模型名，请设置好训练参数。




3、弹出训练界面，大约5秒后会提示“TensorBoard” 启动

• 还会弹出网络授权，选“允许访问”
• 如果你不小心取消，没有授权网络访问，请百度如何解决防火墙对python的限制；
• 
  

4、第一次运行，请让模型训练5分钟，开始写入训练数据 ；然后用浏览器打开训练界面提示URL，本例是直接访问“ http:\\TigerPc:6006,也可以访问你的本机ip地址，例如：http:\\192.168.XXX.XXX:6006

小提示：

• 如果你在服务器训练，你有公网IP，可以通过路由器端口转发，远程查看训练情况； 如何进行端口转发访问内网，请自行百度解决；
  

有部分朋友反映浏览器空白页的问题，辣椒炒肉给出一个百度解决方案：

出错原因：出错的根本原因是安装了其他一些应用程序，在其应用程序中注册了不正确的MIME类型条目。所以我们需要删除任何不正确的MIME类型 Windows注册表中的关联

解决办法是修改注册表信息。

• Win+R =>regedit进入注册表
• your computer\HKEY_LOCAL-MACHINE\SOFTWARE\Classes\.js进入该目录
• 将内容‘text/plain’改为‘application/javascript’
  

参考链接：Tensorboard打开空白解决方案（Win10）_

5、进入TensorBoard 可视化面板，有TF开发经验的朋友，相信很熟悉这个界面，可以视自己经验开始你的玩耍吧！


6、通过顶部栏 标量（scalars），可以查看模型当前的迭代进度，包括了按时间递进的迭代曲线， /Dst /src 素材的Loss变化 曲线 ,通过曲线了解训练的趋势；


我们可以通过这些直观曲线趋势，进行训练参数调优，争对性优化模型成长方向；

• 模型训练基本参数调整：BS大小调整、EMP、LR等；
• 素材的增减、替换；
• 因素材先天不足，启用素材增强向功能，有限度优化素材富足度
• 训练硬件环境的匹配
  

7、通过 【 IMAGES】 图像插件，我们可以了解两种训练过程中预览图的直观变化 ，每个迭代的素材预览图、静态预览图都将记录下来重放。


预览图回溯功能：

• 回溯训练过程中每个迭代的图像；
• 只需要拖动图片上方的滑块，可以步进回溯每个迭代的预览，方便回溯训练的基本情况；
  

静态预览图回溯功能：

• 拖动图片上方滑杆，拖动滑杆将按迭代步进显示素材迭代成长
• 给出一系列训练后，单张素材的训练变化，通过静态预览，可以让我们了解素材的一些训练颗粒度细节、与训练参数相呼应；
  

7、Time Series，整合了按时间线发展的模型训练情况；

• 迭代曲线
• 预览图生长
• 还有更多待添加数据
  

有用提示：

deepfacelab Me版的训练Log信息默认保存在workspace/log 目录，你可能修改启动批处理文件变更这个保存目录，每个模型都会生成对应子目录，这个目录会随着训练数据积累变大，如果你觉得一段时间运行，没必要查看模型的训练历史，请手动删除对应模型子目录。

因为时间关系，我只能简单介绍一些实现在Deepfacelab Me 下的基本操作，具体模型调优路子很多，无非是收集模型训练数据分析，建议大家百度 TensorBoard及模型调优相关信息学习；

当然，后续我会视情况，在Deepfacelab Me  版本里添加学习率、 梯度，包括训练过程中每个要素节点对资源（GPU，显存、内存）占用情况，等相应信息，供训练参考；

同时还将推出一个后期模型分析工具，通过工具，我们可以把已经训练好的模型历史数据进行分析，粗略判断出这个模型的训练成长的历史。

本教程随机更新！

kingboy
2022-3-27

guoruoxuan

谢谢分享

wcw888

感谢大佬分享高端操作

1420699

好东西！

childenman

谢谢分享

dsyrock

我对这个后期模型分析工具很感兴趣，不知道上面说的训练成长的历史具体包含什么内容呢？我之前练出来过一个模型，效果十分好，但奇怪的是之后我用同样素材，差不多的参数，怎么都重现不了之前那个模型的效果。不知道用这个工具的话，能不能帮我重现出我之前是怎么训练的？

xuxiao794613

很专业啊老哥

dreamtear

有点高端

power

谢谢分享