星级打分
平均分:NAN 参与人数:0 我的评分:未评
本帖最后由 jaysfing 于 2023-10-8 12:51 编辑
一直思考通过Ai画图来学习补充DFL的src极限角度，Lora是非常好的学习真人人脸训练工具，controlnet的mutiface模型可以定位脸部，再借助金鱼素材基础库使用SD批量图生图进行SRC极限角度补充，大致思路是这样。SD我是初学者，有更好的方法和不当的地方欢迎大佬指正。
通过几天的研究实践，摸索出了一套方法，供大家借鉴讨论，共同进步。 注意，Stable-diffusion+Lora都使用最新版。会使用到【金鱼素材基础库】
金鱼素材相当于dst 让SD图生图controlnet去学习dst的角度去生成想要的极限角度 这是核心思路 话不多说，先看下效果：
之前：
之后：
实验前准备：目标人物素材约40-60张，尽可能清晰、多角度；如果没有SD基础，可以学习以下课程（只需要看基础），主要看1,2,3,9课，学习基础、软件界面以及lora和controlnet，进行一些基础的文生图和图生图生成；
1.直接进入Lora模型训练：
。。。后面内容请看附件。
------------------------------
更新补充效果预览图：
这里选了ai人物仅正面选了30张做示例：（实际可以是任意你想要补充角度的SRC，40-60张比较好，清晰、多角度最好）
预处理（打标：）
Lora模型训练（我仅演示节约时间就只做10轮 3000steps）BS开1：
完成后把LORA模型放进SD 正向提示词给一个realistic,1girl,close-up,Lora（名称自定义）
反向提示词：nsfw,ng_nsfw,ng_deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,monochrome,deepnegative_v1_75t,badhandv4,(worst quality:2),(low quality:2),(normal quality:2),lowres,watermark,monochrome,
contorlnet针对金鱼素材脸部极限位置、元素定位 这是核心，理解透彻。
我们来到批量处理（当然不会傻乎乎一张张搞，但是要理解好上图），步数演示节省时间给个默认的20 想要清晰可以加到40 启用controlnet 预处理器选择mutiface （脸部动作定位）Eula更贴近真人脸。相关模型在hunging face下载；
搞定出图：按照金鱼素材基础库角度出图 兄弟们六不六？
PS1:重绘幅度、 minfaceconfidence、切入时机等会使得Ai生成一些奇怪的物件或者遮挡，甚至眼睛、脸型异常等，DFL的切脸遮罩可以搞定，搞不定的图删除。
PS2:通过正向提示词，比如闭眼（close eyes）、大笑（laugh）等输出想要的表情，并可通过权重进行控制，例如realistic,1girl,close-up,(close eyes:1.5),可以自由发挥，你懂得。（当然素材里的图片得包含必要元素，比如Lora不知道牙齿长什么样它就会乱画。）
PS3:示例选了30张Ai脸做示例，实际可以是任意你想要补充角度的SRC，可以自由发挥。
PS4：在训练完成输出的图里面挑非常最满意的，再循环放进Lora里训练，模型会越学越像，理论上最终是可以趋近全角度的。
| 
[复制链接]
|Archiver|手机版|deepfacelab中文网
|网站地图
楼主
发表于 2023-10-13 17:03:12
