AI绘画之线稿上色&动作模拟
本帖最后由 抹茶味牛子 于 2023-2-17 12:00 编辑一、简介
线稿上色和动作模拟主要依靠一个插件ControlNet，具体介绍可以看秋叶大佬的视频，里面也有视频版的安装使用教程，本文是文字版教程。
视频链接：https://www.bilibili.com/video/BV1Wo4y1i77v/?spm_id_from=333.999.0.0&vd_source=e2fd6970c10a79acab398c60f1bba5c4
二、安装教程
首先需要安装插件ControlNet，在SDwebUI界面打开拓展，“从网址安装”
输入网址：https://jihulab.com/hunter0725/sd-webui-controlnet
等待加载完成重新启动SDwebUI，在文生图下方即可看到已经有插件了，看不到就重开启动器
然后需要下载相关的模型和安装文件
下载链接：https://pan.baidu.com/s/1gR2DiyOjaicGVXwiWvdW6A
提取码：aaki
下载完之后将相应的文件复制到以下位置
安装里的openpose下的文件，复制到..\extensions\sd-webui-controlnet\annotator\openpose
安装里的midas下的文件，复制到..\extensions\sd-webui-controlnet\annotator\midas
模型里的文件复制到..\extensions\sd-webui-controlnet\models
到此安装准备工作已经完成，复制完后可以刷新下SDwebUI界面
三、ControlNet使用
这个插件的功能是很强大的，具体的各个功能可以看下面这个文章
文章链接：https://www.bilibili.com/read/cv21848861/
这里就简单讲下线稿上色和动作模拟
3.1 线稿上色
首先找一张线稿图片，百度即可找到很多，如：
然后在文生图界面，点开插件，上传图片，然后图中两个位置都选canny
左上角模型我使用的是anything，启动器里就可以下载，其他的应该也可以，自己测试吧
然后最好设置一下tag，经过我大量测试，终于找到了一手不错的秘咒起手式，经过这些tag线稿上色的效果极佳！
正面tag:
1girl, Intricate details,ultra detailed,8k,masterpiece,best quality, ultra high res, (photorealistic:1.4), (ulzzang-6500:0.2), 1girl, (detailed face:1.2), (no make-up:1.2), lady, ((Shiny skin)), white skin,
负面tag:
paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, (freckles), green, tree, flowers, red,
运行结果如下：
效果还是很不错的，我挑了几张给大家看看
3.2 动作模拟
这个功能主要就是根据上传的图片中人物的动作，提取动作图，然后根据这个动作图绘画。
上传一张图片，然后插件中预处理和模型都选择openpose
然后tag大家自己设置吧，这里我没有细调，展示下功能就行了，效果图如下：
他会同时生成一张动作骨骼图
如果批量生成的话，生成一次动作骨骼图，然后直接上传这张图，预处理那里就可以选择none，后面模型还是选择openpose应该可以减少处理时间
3.3 其他功能
其实还有其他很多强大的功能，大家自行摸索吧，参考这个文章：
文章链接：https://www.bilibili.com/read/cv21848861/
有些模型秋叶大佬没给，可以在下面这个链接下载
链接：https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
by 抹茶味牛子
controlnet插件作者张吕敏之前搞GAN的线稿上色，也是最早启发我转行搞AI的项目 虽不喜二次元，但是还是给你点个赞！我继续玩扔子 这些线稿上色的是会把线稿传到网络服务器上还是只在本地电脑处理的？我看每次启动都会联网 omesa 发表于 2023-2-17 16:41
这些线稿上色的是会把线稿传到网络服务器上还是只在本地电脑处理的？我看每次启动都会联网 ...
本地处理的 omesa 发表于 2023-2-17 16:41
这些线稿上色的是会把线稿传到网络服务器上还是只在本地电脑处理的？我看每次启动都会联网 ...
本地的，你不放心可以断网操作，联网是在更新组件 补充一点：这个openpose不会识别正面和背面，如果是背面的话他也会当正面用，还有openpose的识别不局限于真人，二次元也可以 这个动作捕捉就很强大了，不然AI随心所欲的画很大程度就是动作POSE不好而放弃。 感谢分享 再来个表情捕捉就更完美了