deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 6050|回复: 22

AI绘画之线稿上色&动作模拟

[复制链接]

5

主题

189

帖子

2329

积分

版主

Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30

积分
2329

见习版主勋章优质版主勋章

 楼主| 发表于 2023-2-17 11:54:35 | 显示全部楼层 |阅读模式
本帖最后由 抹茶味牛子 于 2023-2-17 12:00 编辑

一、简介

线稿上色和动作模拟主要依靠一个插件ControlNet,具体介绍可以看秋叶大佬的视频,里面也有视频版的安装使用教程,本文是文字版教程。

视频链接:

二、安装教程
首先需要安装插件ControlNet,在SDwebUI界面打开拓展,“从网址安装”

输入网址:https://jihulab.com/hunter0725/sd-webui-controlnet
image.png
等待加载完成重新启动SDwebUI,在文生图下方即可看到已经有插件了,看不到就重开启动器
image.png
然后需要下载相关的模型和安装文件

下载链接:https://pan.baidu.com/s/1gR2DiyOjaicGVXwiWvdW6A

提取码:aaki

下载完之后将相应的文件复制到以下位置

安装里的openpose下的文件,复制到..\extensions\sd-webui-controlnet\annotator\openpose

安装里的midas下的文件,复制到..\extensions\sd-webui-controlnet\annotator\midas

模型里的文件复制到..\extensions\sd-webui-controlnet\models

到此安装准备工作已经完成,复制完后可以刷新下SDwebUI界面

三、ControlNet使用
这个插件的功能是很强大的,具体的各个功能可以看下面这个文章

文章链接:https://www.bilibili.com/read/cv21848861/

这里就简单讲下线稿上色和动作模拟

3.1 线稿上色

首先找一张线稿图片,百度即可找到很多,如:
image.png

然后在文生图界面,点开插件,上传图片,然后图中两个位置都选canny
image.png

左上角模型我使用的是anything,启动器里就可以下载,其他的应该也可以,自己测试吧

image.png

然后最好设置一下tag,经过我大量测试,终于找到了一手不错的秘咒起手式,经过这些tag线稿上色的效果极佳!

正面tag:
1girl, Intricate details,ultra detailed,8k,masterpiece,best quality, ultra high res, (photorealistic:1.4), (ulzzang-6500:0.2), 1girl, (detailed face:1.2), (no make-up:1.2), lady, ((Shiny skin)), white skin,

负面tag:
paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans, (freckles), green, tree, flowers, red,

运行结果如下:
image.png

效果还是很不错的,我挑了几张给大家看看
image.png image.png image.png image.png

3.2 动作模拟

这个功能主要就是根据上传的图片中人物的动作,提取动作图,然后根据这个动作图绘画。

上传一张图片,然后插件中预处理和模型都选择openpose

image.png

然后tag大家自己设置吧,这里我没有细调,展示下功能就行了,效果图如下:
image.png

image.png
他会同时生成一张动作骨骼图
image.png
如果批量生成的话,生成一次动作骨骼图,然后直接上传这张图,预处理那里就可以选择none,后面模型还是选择openpose应该可以减少处理时间

3.3 其他功能

其实还有其他很多强大的功能,大家自行摸索吧,参考这个文章:

文章链接:https://www.bilibili.com/read/cv21848861/

有些模型秋叶大佬没给,可以在下面这个链接下载

链接:https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main



by 抹茶味牛子

















评分

参与人数 2贡献 +2 收起 理由
weblink + 1 赞一个!
华少 + 1 很给力!

查看全部评分

AI绘画讨论交流QQ群748167404
回复

使用道具 举报

199

主题

1914

帖子

50万

积分

管理员

Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96

积分
508378

隐世金马甲勋章超级版主勋章可爱萌新勋章见习版主勋章荣誉会员勋章男同管理员-无尚荣耀勋章优质版主勋章小有贡献勋章

发表于 2023-2-17 11:57:42 | 显示全部楼层
controlnet插件作者张吕敏之前搞GAN的线稿上色,也是最早启发我转行搞AI的项目
提供数字人直播服务、文字/音频驱动数字人服务,有意者联系我QQ563861181
全站默认解压密码dfldata.xyz
DFL交流QQ群519316315
AI绘画交流QQ群710238550
我的B站账号:特看科技的滚石   其他自称彦祖的不是我,请勿上当
回复 支持 3 反对 0

使用道具 举报

16

主题

426

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
37386
QQ
发表于 2023-2-17 12:00:42 | 显示全部楼层
虽不喜二次元,但是还是给你点个赞!我继续玩扔子
回复 支持 反对

使用道具 举报

9

主题

798

帖子

4289

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4289
发表于 2023-2-17 16:41:09 | 显示全部楼层
这些线稿上色的是会把线稿传到网络服务器上还是只在本地电脑处理的?我看每次启动都会联网
回复 支持 反对

使用道具 举报

8

主题

155

帖子

969

积分

高级丹师

squeeze

Rank: 5Rank: 5

积分
969

万事如意节日勋章

发表于 2023-2-17 17:02:27 | 显示全部楼层
omesa 发表于 2023-2-17 16:41
这些线稿上色的是会把线稿传到网络服务器上还是只在本地电脑处理的?我看每次启动都会联网 ...

本地处理的
一切随缘就好
回复 支持 反对

使用道具 举报

5

主题

189

帖子

2329

积分

版主

Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30

积分
2329

见习版主勋章优质版主勋章

 楼主| 发表于 2023-2-17 17:02:55 | 显示全部楼层
omesa 发表于 2023-2-17 16:41
这些线稿上色的是会把线稿传到网络服务器上还是只在本地电脑处理的?我看每次启动都会联网 ...

本地的,你不放心可以断网操作,联网是在更新组件
AI绘画讨论交流QQ群748167404
回复 支持 反对

使用道具 举报

8

主题

155

帖子

969

积分

高级丹师

squeeze

Rank: 5Rank: 5

积分
969

万事如意节日勋章

发表于 2023-2-17 17:04:08 | 显示全部楼层
补充一点:这个openpose不会识别正面和背面,如果是背面的话他也会当正面用,还有openpose的识别不局限于真人,二次元也可以
一切随缘就好
回复 支持 反对

使用道具 举报

0

主题

389

帖子

3429

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3429
发表于 2023-2-17 18:44:24 | 显示全部楼层
这个动作捕捉就很强大了,不然AI随心所欲的画很大程度就是动作POSE不好而放弃。
回复 支持 反对

使用道具 举报

0

主题

121

帖子

1631

积分

初级丹圣

Rank: 8Rank: 8

积分
1631

万事如意节日勋章稀奇古怪节日勋章

发表于 2023-2-17 21:43:28 | 显示全部楼层
感谢分享
回复

使用道具 举报

0

主题

3

帖子

48

积分

初级丹童

Rank: 1

积分
48
发表于 2023-2-18 22:07:56 | 显示全部楼层
再来个表情捕捉就更完美了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-2-24 15:05 , Processed in 0.084512 second(s), 13 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表