deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 2118|回复: 12

DragGAN 单张照片生成多角度高精度图像

[复制链接]

11

主题

148

帖子

2254

积分

初级丹圣

Rank: 8Rank: 8

积分
2254
 楼主| 发表于 2023-6-13 06:27:09 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:1  我的评分:未评
本帖最后由 maymay 于 2023-6-13 07:02 编辑

DragGAN 直接通过拖拽点实现AI精修,更加灵活的重绘。
GAN,或者说生成对抗网络,是由两个网络组成的模型:生成器和鉴别器。生成器试图创建与真实数据类似的假数据,而鉴别器的任务是尝试区分真实数据和生成的假数据。GAN的主要目标是使生成器产生的数据能够在鉴别器中被判断为真实的。

stable diffusion 也有局部重绘功能,但仅限于画面某个范围重绘,重绘后但不会改变整体构图。
Diffusion模型则基于随机过程的观念。在这个模型中,一开始会有一个随机噪声,然后通过一系列时间步骤,这个噪声会逐渐变化,最终变得与目标数据分布相似。在每个时间步骤中,模型都会向数据添加或移除一些噪声。


GAN使用了对抗的方式来生成数据,而Diffusion模型则是通过一种逐步的、基于噪声的过程来生成数据。虽然两者都可以生成新的数据样本,但它们的应用和性能可能会在不同的任务和数据集上有所不同。

DragGAN会根据重绘点进行重新演算,从姿势到形状到表情到布局。

如果DragGAN重绘图像后切脸用于DFL,个人认为会帮助到SRC缺角度或者表情的朋友们,在得到更多的角度和表情上会有些许帮助。

欢迎讨论


1.png
2.png
3.png
4.png
5.png
6.png
回复

使用道具 举报

28

主题

302

帖子

2746

积分

初级丹圣

Rank: 8Rank: 8

积分
2746

万事如意节日勋章

QQ
发表于 2023-6-13 10:48:04 | 显示全部楼层
好思路,我怎么没想到
回复 支持 反对

使用道具 举报

5

主题

72

帖子

1633

积分

初级丹圣

Rank: 8Rank: 8

积分
1633
发表于 2023-6-13 12:25:38 | 显示全部楼层
这又是一个大佬
回复 支持 反对

使用道具 举报

13

主题

993

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
11924
发表于 2023-6-13 20:09:05 | 显示全部楼层
其实现在主要是极限角度比较缺少,而且难切图。这个draggan,可能对极限角度的效果不太好吧。
回复 支持 反对

使用道具 举报

2

主题

19

帖子

421

积分

初级丹师

Rank: 3Rank: 3

积分
421
发表于 2023-6-13 20:50:45 | 显示全部楼层
那哪里有下载呢
回复 支持 反对

使用道具 举报

20

主题

172

帖子

2763

积分

初级丹圣

Rank: 8Rank: 8

积分
2763
发表于 2023-6-13 21:50:07 | 显示全部楼层
本帖最后由 dfllearner 于 2023-6-13 21:52 编辑

https://github.com/XingangPan/DragGAN
这是论文作者的github页面,不知道他有没有开源
回复 支持 反对

使用道具 举报

11

主题

148

帖子

2254

积分

初级丹圣

Rank: 8Rank: 8

积分
2254
 楼主| 发表于 2023-6-13 22:08:55 | 显示全部楼层
seancai110 发表于 2023-6-13 20:09
其实现在主要是极限角度比较缺少,而且难切图。这个draggan,可能对极限角度的效果不太好吧。 ...

用DragGAN生成出来的任意图像切脸,为金鱼角度训练添加素材,应该差不多了
回复 支持 反对

使用道具 举报

13

主题

993

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
11924
发表于 2023-6-13 22:13:41 | 显示全部楼层
maymay 发表于 2023-6-13 22:08
用DragGAN生成出来的任意图像切脸,为金鱼角度训练添加素材,应该差不多了 ...

那要看这个gan有没有针对极限角度进行训练。我觉得还不如考虑那种ai生成3d头模的项目,那个大对角度的适配应该更好。
回复 支持 反对

使用道具 举报

3

主题

61

帖子

9788

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
9788
发表于 2023-6-14 17:08:44 | 显示全部楼层
我也是在研究这个,这个月作者应该就会开源代码出来了。目前我还是用 SD 来绘制
回复 支持 反对

使用道具 举报

72

主题

541

帖子

5091

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5091

万事如意节日勋章

发表于 2023-6-14 17:50:31 | 显示全部楼层
现在那个软件已经可以用了,自己上传的图片效果很差,他模版里的图片效果好
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-23 17:18 , Processed in 0.104414 second(s), 10 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表