deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 128|回复: 4

给神农汉化3.06做了个ui,请大佬指教

[复制链接]

36

主题

306

帖子

9650

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
9650
 楼主| 发表于 昨天 07:26 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
我发现好多人做的deepfacelab新功能都不考虑AMD显卡,所以我参考魔切的ui设计做了一版新的神农3.06ui支持A卡使用。主要新增功能如下:
首先是头像提取页,支持了多种提取器和对齐器。支持直接从视频中提取不用切帧图。支持快速切脸。还做了一个新版手动提取工具,主要功能如下:逐点描点和拖动微调时(这个可以多选)选中器官开始描点时隐藏起其他器官的landmark,描点结束才出现整体轮廓。
image.png image.png image.png image.png image.png



遮罩页面,新增了多种遮罩模型:EasyPortrait 遮罩,BiSeNet 遮罩,SegFormer 遮罩。新增把写入图片的遮罩xseg_mask转成轨迹图seg_ie_polys的功能。新增新版遮罩编辑工具:内置SAM模型,就是你点选或者描动一个区域实现自动抠像的功能。
image.png image.png image.png



模型训练页面,迁移了所有的pytorch模型,同时支持tf 和pytorch模型训练。萨尔saehd模型迁移了部分ME模型的参数。新增混合精度和opt_states_on_gpu功能来节省显存。新增自动训练功能。新增防止炸丹功能。
image.png image.png



模型合成页面,参考教学贴金鱼高级合成,新增了RGB智能合成方法:给普通脸部合成补一个更接近高级 AE 合成思路的自动模式。
image.png


- 当 SRC 和 DST 脸型差异较大时,普通合成容易被 DST 原脸型限制;`RGB 智能合成` 会更大胆地使用模型预测出的 RGB 脸部结果,让脸颊、下巴、下颌线和部分额头轮廓更接近 SRC。
- 它不是完整 head 换脸,而是更像“去掉头发部分,只使用五官 + 脸部轮廓的 head 换脸”。因此它适合改善脸内轮廓相似度,不适合强行替换发型、发际线、头顶、耳朵、脖子或大面积遮挡。
先输出模型预测 RGB 脸然后用一层遮罩去掉RGB 脸本身会带完整方形预测块,然后再叠一层遮罩排除脸上遮挡。




工具箱页面,新增了tf 和pytorch模型导出直播模型工具,新增了tf 和pytorch模型互相转换工具,新增了模型蒸馏工具。
image.png


素材筛选工具,新增了素材筛选分析工具,可以一次性导入src和dst,并生成角度热力图。通过切换功能切换数据源展示角度热力图。新增训练提示区功能,把src和dst热力图叠加的方法提示训练时哪些角度缺失(蓝=src-only,黄=dst-only,绿=安全覆盖,红=高风险 dst-only。)。增加去重功能,清晰度筛选等功能。增加直接在头像图片上修正landmark的功能。新增comfyui补充角度功能读取热力图然后找出count=0 的格子,生成图片来补充角度。
素材筛选分析工具dst.jpg 素材筛选分析工具src.jpg 素材筛选分析工具训练区提示.jpg
ai补角.jpg ai补角示例.jpg


各位大佬,还有没有什么好的建议

回复

使用道具 举报

0

主题

122

帖子

2544

积分

初级丹圣

Rank: 8Rank: 8

积分
2544

万事如意节日勋章

发表于 昨天 07:54 | 显示全部楼层
辛苦了,改动还是不小啊
可惜,现在玩的人不多了,效果没什么提升,也没什么动力了
回复 支持 反对

使用道具 举报

8

主题

92

帖子

3235

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3235

万事如意节日勋章

发表于 昨天 08:26 | 显示全部楼层
最痛的地方在于优化切大角度/局部遮挡 的速度/算法
如果你觉得我不对,那就一定是你对
回复 支持 反对

使用道具 举报

32

主题

382

帖子

2879

积分

初级丹圣

Rank: 8Rank: 8

积分
2879
发表于 昨天 10:56 | 显示全部楼层
求分享你的《三生三世十里桃花》
回复 支持 反对

使用道具 举报

36

主题

306

帖子

9650

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
9650
 楼主| 发表于 昨天 18:13 | 显示全部楼层
lhs 发表于 2026-4-30 08:26
最痛的地方在于优化切大角度/局部遮挡 的速度/算法

检测算法决定上限。大角度/局部遮挡 本来就是检测器难识别。我能想到的方法就是在切脸时勾选了减少抖动功能之后在切脸时写入更多信息:头像在帧图中的坐标位置+身份id,然后根据前后帧的关系在预测的位置不管landmark对错先强制切出来,这样尽可能减少漏切。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2026-5-1 04:49 , Processed in 0.095364 second(s), 36 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表