星级打分
平均分:NAN 参与人数:0 我的评分:未评
本帖最后由 platexyxy 于 2024-5-27 18:43 编辑
最近更新：2024-05-27
准备最近这段时间，工作不是太忙，又把DFlab捡起来了，逛了逛论坛发现大佬们的括图工具新增了好多，尤其最近坛主大大分享了comfyUI极限图生图的教程，就想着硬盘上还有一些陈年照片可以搞事情，就萌生了几张图训练换脸的想法，其实之前一直都想着如果几张图就能换个视频该多好 。 这不，技术进步了，AI发展了，能满足我们的更极限的小需求了，大概分享一下我的做法，各位大佬看了提提意见，我就又能少走些弯路了。
实战中用到的工具链接我尽可能放在下面了
手边现有资源：DFL30系专用，ComfyUI环境加model，9张src不太清晰的图
叠甲：女主为网络搜集，女主为网络搜集，女主为网络搜集，测试扩图使用，侵删 叠甲：女主为网络搜集，女主为网络搜集，女主为网络搜集，测试扩图使用，侵删 叠甲：女主为网络搜集，女主为网络搜集，女主为网络搜集，测试扩图使用，侵删 括图- comfyUI初始括图
- 工具：ComfyUI+InstantID图生图（坛主滚石大大出了教程的工具），筛图工具
- 过程：
- 自己照着滚石大大的工作流搭了一套ComfyUI工作流，其中大模型用了Civitai的Realistic Mix XL和Realistic Stock Photo（站外不方便放链接了，需要的话自己发挥超能力找一下哈），图生图分为了几个小步骤：
- 生成基础的正面表情，引导图用的小和尚，用筛选工具先筛选了一部分（大概200张）俯仰和左右都在10度到20度的图（不用全部是因为影响随机抽图的效率），先大概练了700张左右正脸，从中筛选出80多张的比较像的（这里必须要筛选，前一次测试没筛选的，有的相似度很低的放进去训练就不是很像），在生成过程种就经常将生成的很像的图放到随机抽图文件夹中来使用更多的图，我觉得可以增加一些正向可能性。
- 下一步就是生成一些侧脸图，依然使用工具筛选30度以上的图做引导图，大概筛选出了50张侧脸图
- （小和尚扩图时发现的问题）在小和尚扩图过程中，发现表情是闭嘴的时候，生成的嘴是张开的，才发现貌似没有闭嘴的素材（源9张图里都是张嘴笑的图），就又回到comfyui中修改了一些提示词，生成筛选了100张左右闭嘴正脸和闭嘴侧脸图，当然还有一些别的小问题
- 一些经验：经过我的测试（两到三个人的测试），这两个大模型有各自不同的优势，其中Realistic Mix XL生成的正脸很像，另一个Stock的，生成的侧脸更像
- 小和尚扩图
- 工具：论坛里的DFL800大大分享的小和尚角度图，快速切图工具，aligned角度合并工具等等各位大大制作的DFlab工具
- 过程：
- 将上面原始的图加上comfyui生成的图，一起打包放进dst，切图，看看debug角度，识别不准的就手动切一下，最后文件名改成src，将小和尚复制过来改成dst
- 开始按照正常DFL训练过程来，先开扭曲扭呀扭，开会儿嘴脸开会儿yaw，然后关扭曲开干（gan）（学习率一直开了）
- 按照上面的步骤，炼了一天，晚上导图效果还不错
-
小和尚生成的图↑-
- 小和尚生成的图↑
-
- 第二轮小和尚扩图侧脸部分，可以看出，原图没有的50度以上的大侧脸现在已经有点形状了
- 第二波扩图的过程中还发现，好像闭眼睛的素材又不够了，我又回ComfyUI生成了些闭眼睛的素材
- 这个是真的难调，毕竟模型都是睁眼睛的素材，我使用小和尚第一波扩出来的半闭不闭的素材作为ComfyUI的src生成了200张图，终于找到了几张闭眼睛的，但是人很不像。。。就算ComfyUI的src中加了像的人，偶尔生成出的闭眼的图也差距甚大。
-
- 这根本不是一个人好吧
- 最后没办法，使用了前几天在坛子里看到的知识，训练一个新遮罩，用遮罩吧闭眼的眼部区域单独抠出来，也就是这些闭眼图片只训练眼睛部分（闭着的眼睛），其他的全黑不训练，这些闭眼图片应用新遮罩，其他的依然使用原始遮罩（只遮眼镜之类的干扰物体的），然后继续训练，结果真成了，闭眼表情get！
-
虽然还没完全闭上 - 第二波下来切脸，发现快速切脸工具吧，速度是真很快，不过精度。。。大佬还是很厉害的
 ！！！ - 大概筛选了9000张生图切脸，切出大概500张左右，不过大部分都是之前有的表情。我从生成的没切出来那8500张里大概找了几个需要的角度和闭眼表情，用DFLab的原生切脸，99%提取，再对着debug图重切了几张，就比较完美了，补充上之前从来没被切出的仰视的图现在基本的表情都有了，我听取了坛友 @pasanonic 的意见，弄了个金鱼的包，第二轮小和尚结束之后，第三轮删除了interAB和interB，换上全新的金鱼扩图包继续跑，目前的结果是这样的
-
-
补了些原版DFL切的仰脸 -
-
正在小金鱼训练中。。。
正式换脸（还没开始）
实时问题：
- 还想请教坛友大大们，我在用小和尚扩图的时候，小和尚是闭嘴的，我src有闭嘴的相应角度（或者差不多的角度），为啥训出来结果图她还是嘴微微张开的呢？？？
-
- 如果我补角度，把小和尚相应的头像放进src训练，会不会把那个位置训练成小和尚的模样？（纯纯小白提问，不过我看之前有这么做的不知道效果是什么也没来得及尝试）
目前能分享的就是这些，相关的工作流和用到的资源汇总放下面了，关键是提示词（参考了大大的提示词，修改了一些对于不同工作流有所针对，大家也可以下载调试使用），小赚点零食攒攒买镇坛之宝
工作流分享：见下面百度云链接，论坛当前检测无效，已设置永久分享，如果失效还请留言联系 资源汇总↓↓↓↓↓↓↓↓↓
资源汇总↓↓↓↓↓↓↓↓↓
资源汇总↓↓↓↓↓↓↓↓↓
| 
[复制链接]
|Archiver|手机版|deepfacelab中文网
|网站地图
楼主
发表于 2024-5-25 07:36:47
