deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 442|回复: 4

【技术】AI绘画换脸和角度补全的一些技巧。

[复制链接]

13

主题

945

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
11285
 楼主| 发表于 2024-7-2 19:15:19 | 显示全部楼层 |阅读模式
本帖最后由 seancai110 于 2024-7-3 21:28 编辑

随手写一下。里面说到的src和dst指的是ai绘画的输入。因为instantID可以输入image_kps进行姿势参考,所以下文的dst泛指重绘的底图和image_kps,或者是controlnet给的姿势。


1. 现在comfyui换脸流行用IPAdapter和InstantID串起来换脸,这样换脸的结果会更像。一般IPAdapter在前,InstantID在后。IPAdapter感觉用FaceIDv2模型和对应lora效果比较好,portrait模型实话说有点过拟合,单独用的时候不太像。

2. AI绘画换脸的原理和DFL完全不同!DFL的原理是角度匹配,所以要多输入不同角度的图片。AI绘画的原理是学习输入的图片,然后进行创造。所以,AI绘画换脸的时候,输入正脸和侧脸,生成的人脸可能会差别很大。
如果输入多张图片给AI绘画,AI绘画会学习每张图片的人脸,然后平均相加。于是,正脸和侧脸的数据,就会相互影响。(当然,这是指用ipa这些工具,不是练lora)图片太多没用,反而会因为不同角度生成的人脸不同,造成互相干扰。

3. 由第二条可知,如果你想生成正脸的图片,那么就尽量src放一张正脸图。如果你想生成张嘴的图片,那么src就尽量放一张张嘴的图片,闭眼、闭嘴等表情亦然。

4. IPAdapter的角度和表情拓展性比较差,生成的图片会尽量像src。所以如果src和dst差别比较大,比如一个闭嘴一个张嘴,那么生成的姿势和表情会偏向src。这种偏向,是很难通过正向和负向关键词来矫正的。

5. InstantID因为有image_kps输入,所以得到的结果会更偏向dst的姿势和表情。当然,可以控制IPAdapter和InstantID的权重来调整输出的偏向。

总结,AI绘画,选一张和dst角度和表情尽量接近的src,效果好过同时输入好几张。
当然,如果没有适合的src图片,那最好一张张试,然后把适合的src一起输入,起到一个融合的效果。

6. 补充一下关于训练时长的。
因为工作流加载模型太多,会占用大量显存,如果显存不够,会频繁移动数据到内存,造成渲染时间过长。比如,我12G的3060,如果直接画一张换脸图,那需要20分钟。但是,如果在程序执行到采样器的时候,在队列里取消掉当前的任务,然后重新执行,那么一般会跳过前面IPA和Ins的节点,直接从采样器开始执行,这样也就省去了IPA和Ins所需要的模型,节省了显存。这样一张图只需要3分钟就能生成。
只要之后不修改输入的src和Ipa节点的参数,速度都会比较快。主要还是IPA需要的显存多。
当然,我记得这是comfyui自带的功能。如果你重新执行的时候,没有直接从采样器开始执行,建议装个rgthree插件再试试。




回复

使用道具 举报

15

主题

1940

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
24671

万事如意节日勋章

发表于 2024-7-2 21:46:27 | 显示全部楼层
感谢分享
回复

使用道具 举报

36

主题

689

帖子

4655

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4655

万事如意节日勋章开心娱乐节日勋章

发表于 2024-7-3 03:41:22 | 显示全部楼层
感谢分享
先收藏,有时间再慢慢研究
回复 支持 反对

使用道具 举报

5

主题

51

帖子

339

积分

初级丹师

Rank: 3Rank: 3

积分
339
发表于 2024-7-17 18:00:21 | 显示全部楼层
老师,能具体一点不DFL的原理角度匹配?,五官表情是从各个角度融合学习?
回复 支持 反对

使用道具 举报

13

主题

945

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
11285
 楼主| 发表于 2024-7-17 18:42:48 | 显示全部楼层
wuzhengping 发表于 2024-7-17 18:00
老师,能具体一点不DFL的原理角度匹配?,五官表情是从各个角度融合学习? ...

是的,DFL本质是角度匹配。比如说,如果你一开始训练的角度不够,然后你加了几张新角度进去,在训练的预览里可以很明显的看到,新加进去的角度是糊的。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-7-25 23:39 , Processed in 0.087782 second(s), 9 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表