【技术】AI绘画换脸和角度补全的一些技巧。

seancai110

随手写一下。里面说到的src和dst指的是ai绘画的输入。因为instantID可以输入image_kps进行姿势参考，所以下文的dst泛指重绘的底图和image_kps，或者是controlnet给的姿势。


1. 现在comfyui换脸流行用IPAdapter和InstantID串起来换脸，这样换脸的结果会更像。一般IPAdapter在前，InstantID在后。IPAdapter感觉用FaceIDv2模型和对应lora效果比较好，portrait模型实话说有点过拟合，单独用的时候不太像。

2. AI绘画换脸的原理和DFL完全不同！DFL的原理是角度匹配，所以要多输入不同角度的图片。AI绘画的原理是学习输入的图片，然后进行创造。所以，AI绘画换脸的时候，输入正脸和侧脸，生成的人脸可能会差别很大。
如果输入多张图片给AI绘画，AI绘画会学习每张图片的人脸，然后平均相加。于是，正脸和侧脸的数据，就会相互影响。（当然，这是指用ipa这些工具，不是练lora）图片太多没用，反而会因为不同角度生成的人脸不同，造成互相干扰。

3. 由第二条可知，如果你想生成正脸的图片，那么就尽量src放一张正脸图。如果你想生成张嘴的图片，那么src就尽量放一张张嘴的图片，闭眼、闭嘴等表情亦然。

4. IPAdapter的角度和表情拓展性比较差，生成的图片会尽量像src。所以如果src和dst差别比较大，比如一个闭嘴一个张嘴，那么生成的姿势和表情会偏向src。这种偏向，是很难通过正向和负向关键词来矫正的。

5. InstantID因为有image_kps输入，所以得到的结果会更偏向dst的姿势和表情。当然，可以控制IPAdapter和InstantID的权重来调整输出的偏向。

总结，AI绘画，选一张和dst角度和表情尽量接近的src，效果好过同时输入好几张。
当然，如果没有适合的src图片，那最好一张张试，然后把适合的src一起输入，起到一个融合的效果。

6. 补充一下关于训练时长的。
因为工作流加载模型太多，会占用大量显存，如果显存不够，会频繁移动数据到内存，造成渲染时间过长。比如，我12G的3060，如果直接画一张换脸图，那需要20分钟。但是，如果在程序执行到采样器的时候，在队列里取消掉当前的任务，然后重新执行，那么一般会跳过前面IPA和Ins的节点，直接从采样器开始执行，这样也就省去了IPA和Ins所需要的模型，节省了显存。这样一张图只需要3分钟就能生成。
只要之后不修改输入的src和Ipa节点的参数，速度都会比较快。主要还是IPA需要的显存多。
当然，我记得这是comfyui自带的功能。如果你重新执行的时候，没有直接从采样器开始执行，建议装个rgthree插件再试试。

come3002

感谢分享

WaveBedo

感谢分享
先收藏，有时间再慢慢研究

seancai110

wuzhengping 发表于 2024-7-17 18:00
老师，能具体一点不DFL的原理角度匹配？，五官表情是从各个角度融合学习？ ...

是的，DFL本质是角度匹配。比如说，如果你一开始训练的角度不够，然后你加了几张新角度进去，在训练的预览里可以很明显的看到，新加进去的角度是糊的。