【技术】AI绘画换脸和角度补全的一些技巧。

seancai110

随手写一下。里面说到的src和dst指的是ai绘画的输入。因为instantID可以输入image_kps进行姿势参考，所以下文的dst泛指重绘的底图和image_kps，或者是controlnet给的姿势。


1. 现在comfyui换脸流行用IPAdapter和InstantID串起来换脸，这样换脸的结果会更像。一般IPAdapter在前，InstantID在后。IPAdapter感觉用FaceIDv2模型和对应lora效果比较好，portrait模型实话说有点过拟合，单独用的时候不太像。

2. AI绘画换脸的原理和DFL完全不同！DFL的原理是角度匹配，所以要多输入不同角度的图片。AI绘画的原理是学习输入的图片，然后进行创造。所以，AI绘画换脸的时候，输入正脸和侧脸，生成的人脸可能会差别很大。
如果输入多张图片给AI绘画，AI绘画会学习每张图片的人脸，然后平均相加。于是，正脸和侧脸的数据，就会相互影响。（当然，这是指用ipa这些工具，不是练lora）图片太多没用，反而会因为不同角度生成的人脸不同，造成互相干扰。

3. 由第二条可知，如果你想生成正脸的图片，那么就尽量src放一张正脸图。如果你想生成张嘴的图片，那么src就尽量放一张张嘴的图片，闭眼、闭嘴等表情亦然。

4. IPAdapter的角度和表情拓展性比较差，生成的图片会尽量像src。所以如果src和dst差别比较大，比如一个闭嘴一个张嘴，那么生成的姿势和表情会偏向src。这种偏向，是很难通过正向和负向关键词来矫正的。

5. InstantID因为有image_kps输入，所以得到的结果会更偏向dst的姿势和表情。当然，可以控制IPAdapter和InstantID的权重来调整输出的偏向。

总结，AI绘画，选一张和dst角度和表情尽量接近的src，效果好过同时输入好几张。
当然，如果没有适合的src图片，那最好一张张试，然后把适合的src一起输入，起到一个融合的效果。

6. 补充一下关于训练时长的。
因为工作流加载模型太多，会占用大量显存，如果显存不够，会频繁移动数据到内存，造成渲染时间过长。比如，我12G的3060，如果直接画一张换脸图，那需要20分钟。但是，如果在程序执行到采样器的时候，在队列里取消掉当前的任务，然后重新执行，那么一般会跳过前面IPA和Ins的节点，直接从采样器开始执行，这样也就省去了IPA和Ins所需要的模型，节省了显存。这样一张图只需要3分钟就能生成。
只要之后不修改输入的src和Ipa节点的参数，速度都会比较快。主要还是IPA需要的显存多。
当然，我记得这是comfyui自带的功能。如果你重新执行的时候，没有直接从采样器开始执行，建议装个rgthree插件再试试。

seancai110

百里瑾轩 发表于 2024-10-3 18:28
可图可以直接生成名人特写，不用换脸，可以用可图来补大角度，但估计要配合controlnet。 ...

名人的角度图本来就好找啊，网红的不好找。

而且，你猜为什么名人换脸效果好。因为大部分模型和插件在训练的时候，都喂了很多名人照片。模型早就学习过杨幂的各个角度，当然能生成好杨幂的脸啊。

come3002

感谢分享

WaveBedo

感谢分享
先收藏，有时间再慢慢研究

seancai110

wuzhengping 发表于 2024-7-17 18:00
老师，能具体一点不DFL的原理角度匹配？，五官表情是从各个角度融合学习？ ...

是的，DFL本质是角度匹配。比如说，如果你一开始训练的角度不够，然后你加了几张新角度进去，在训练的预览里可以很明显的看到，新加进去的角度是糊的。

WaveBedo

seancai110 发表于 2024-7-17 18:42
是的，DFL本质是角度匹配。比如说，如果你一开始训练的角度不够，然后你加了几张新角度进去，在训练的预 ...

高手，你好啊
有的坛友说通过dst-dst对练，可以用来补充src角度，避免缺失的角度一团模糊，
dst-dst对练之后，把src放回去，继续正常的src-dst对练
你觉得这个方法有效果吗？

无论是在扭曲，或者关闭扭曲阶段，如果把src放回去之后，
dst-dst对练出来的角度，应该都会慢慢被src替换掉吧？
如果src角度缺失的，会不会又变回一团模糊呢？

（在短时间，还没被src全部替换之前，应该不会一团模糊，
但时间长了，被src完全替换之后，会不会变回模糊呢）

seancai110

WaveBedo 发表于 2024-9-19 00:44
高手，你好啊
有的坛友说通过dst-dst对练，可以用来补充src角度，避免缺失的角度一团模糊，
dst-dst对练 ...

时间长了，没有的角度可能会糊。都是权宜之计而已

百里瑾轩

可图可以直接生成名人特写，不用换脸，可以用可图来补大角度，但估计要配合controlnet。