deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 5493|回复: 29

香港中文大学CelebA预训练集-20万头像-论坛数量最多角度最全

[复制链接]

26

主题

333

帖子

2万

积分

高级丹圣

风擎

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27752
 楼主| 发表于 2023-3-28 12:54:35 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:2.5  参与人数:2  我的评分:未评
本帖最后由 windjet 于 2023-4-23 10:45 编辑

CelebA预训练集总共有20万张切好脸的WF256头像,是目前论坛里面整理完且能够直接用于DeepFaceLab训练的最大数量的预训练集合了,角度也是目前最全的了,可以用于WF384及以下的模型的训练。
所谓CelebA数据集是香港中文大学多媒体实验室发布的一个大规模的面部属性数据集,其中包含超过20万图像,涵盖了较大的姿势变化和背景杂波,具有多种多样,数量众多且属性丰富的特点,可用作计算机视觉任务的训练和测试集,如面部属性识别,面部检测,五官定位以及面部编辑和合成。

另外值得特别说明的是,DeepFaceLab的开发者也是使用CelebA数据集来做测试的,你可以看一看20211120原版DFL的\_internal\DeepFaceLab\test.py文件就知道了,里面含有大量CelebA信息,比如8293行,它是默认指定CelebA数据集(pretrain_CelebA)来预训练的,就不用说例子里面的\_internal\DeepFaceLab\samplelib\SampleGeneratorFaceCelebAMaskHQ.py文件了,基本上就是利用了CelebA蒙板高清衍生数据集(CelebAMask-HQ)来操作演示,这大概是因为目前的通用大型数据集里面只有CelebA数据集是属性最多,角度可能也是最全的。

数据集具有性别,发色,刘海,眼镜,可爱,年轻,胡须等多达40个人脸特征属性,可以利用CelebA属性选择器(SAFC)来轻易地定制自己特有的训练集合,如戴眼镜的女性,年轻又可爱的金发女性等各种特有集合,CelebA属性选择器的下载可以参考最下面的链接。
这个是CelebA数据集的主体数据集合,我把它切成了DFL可以用于训练的预训练集,并且去除了部分不适合用于DFL训练的人脸,而且删除了90%的戴墨镜的人脸,利用SAFC定制之后的特有集合能够马上投入DFL进行训练。
使用MachineVideoEditor(MVE)查看角度分布的结果,正如香港中文大学所介绍的有较大的姿势变化,在1.5倍角度下只有极少数死角没有覆盖到,所以就干脆就增加了一个补充角度的少女头像集合,使其能够达到100%覆盖全角度,如下所示:


纯粹的CelebA预训练集1.5倍角度如下所示:


纯粹的CelebA预训练集1.0倍角度如下所示:


直接使用DFL切的WF256头像,好处是体积小,装载快,对目前主流WF256及以下模型正好适用,经本人测试就是WF320及WF384模型也能有不错的效果,分辨率再往以上的模型就得斟酌一下了。
WF256模型训练效果:


WF320模型训练效果:


WF384模型训练效果:


文件采用DFL标准6位排序:


CelebA属性选择器(SAFC)的下载:
https://dfldata.cc/forum.php?mod=viewthread&tid=13874
CelebA属性选择器V1版-定制自己的特有训练集-免费送4万头像

WF512版的下载-11万5千张(含有
CelebA蒙板高清衍生数据集CelebAMask-HQ):
https://dfldata.cc/forum.php?mod=viewthread&tid=13775
香港中文大学CelebA预训练集-WF512版-量大角度全-11万5千张

此外,和这个类似的大型预训练集是CACD预训练集,16万张头像,数量虽然少一点,但基本都是电影明星且带名字排序,角度也不错,更具有收藏价值。
https://dfldata.cc/forum.php?mod=viewthread&tid=13421
CACD预训练集-WF256-共16万带名字影星头像-超多重磅!

---下载分单个包下载和整体包下载

适合小本本及想分开训练的朋友:
预训练pak包4-1:50000张
预训练pak包4-2:50000张
预训练pak包4-3:50000张
预训练pak包4-4:50635张
预训练角度补全包:105张
(包1加包2加包3加包4加角度补全包=200740张)

适合云端训练及有闲置机器撒手不管的朋友:
预训练pak包-单一文件:200635张
(分单文件下载和多文件下载,内容都一样,网速稳定的下单文件包否则下多文件分割包,需要角度补全的朋友请自己另外加入角度补全包里面的头像)

文件下载后就是pak文件包(faceset.pak),可以直接使用,不用再解压为图片了,除非你想加自己的资源,DFL对pak包的装载远远快于对单张图片的装载。
使用方法:
1,官方标准预训练的模型的训练(pretrain: True),把"\_internal\pretrain_faces"下面的原始faceset.pak备份,然后用这个faceset.pak包替换它。
2,非官方标准预训练的模型的训练(pretrain: False),把faceset.pak包放"\data_src\aligned"和"\data_dst\aligned"下各一份,直接用不要再解压成图片了。
3,专人模型的训练,把faceset.pak包放"\data_dst\aligned"下,直接用不要再解压成图片了。
4,想看头像图片,把faceset.pak包放"\data_dst\aligned"下,执行5.2) data_dst util faceset unpack.bat来解压图片。

---更新日志
2023/04/05
1,重新清理一下垃圾头像及一部分头像重新切脸做成了一个V2版,已经下载过的朋友请重新下载下面这个文件夹里的内容:
CelebA人脸WF256-预训练pak包V2版-All-多文件分割
2,以前的V1旧版本已经移入下面的文件夹,质量比不上V2版,不再推荐,请不要下载:
V1版-旧版-不推荐-垃圾头像未清理完-废弃预定
3,V2版暂时没有分开的pak包(以后有时间可能会补上),只有一个整体的pak包。











本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册(仅限QQ邮箱)

x

评分

参与人数 3贡献 +3 收起 理由
seancai110 + 1
Woaiqipao + 1
王远彦 + 1 很给力!

查看全部评分

风擎,就是风之引擎。
回复

使用道具 举报

26

主题

333

帖子

2万

积分

高级丹圣

风擎

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27752
 楼主| 发表于 2023-3-30 11:11:20 | 显示全部楼层
本帖最后由 windjet 于 2023-3-30 11:18 编辑

呵呵,我其实一点都不缺灵石,但反对无条件免费和以极低价格发放资源,主要是为了论坛的发展着想,免得大家都变成伸手党,到时大家都不主动制作及上传资源,反而对大家不利,包括我自己也下载不到好资源了,所以合理的定价是对论坛发展有利的。
我通常对训练集的定价是1万张图片1.1左右的灵石,为什么加要0.1,因为论坛有税收,大概也是收0.1的税,所以其实是1万张图片1个灵石,这个价格应该是很平民化的,我自己也好记忆,当然也得看资源内容和制作难易度而定,我不一定都是严格按这个定价的,但绝对没有定过不合理的高价格。
风擎,就是风之引擎。
回复 支持 1 反对 1

使用道具 举报

26

主题

333

帖子

2万

积分

高级丹圣

风擎

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27752
 楼主| 发表于 2023-3-29 10:40:23 | 显示全部楼层
本帖最后由 windjet 于 2023-6-23 12:42 编辑
poiu88 发表于 2023-3-29 10:09
20W那个数据集里有几张头像是横着的

你可真牛!20万张里面你都能把那几张挑出来,要知道我已经仔细检查过了所有头像的,有点问题被我看漏的头像应该只有极少数了,非常感谢你能挑出来这几张头像,方便的话,麻烦告我是哪几张头像。
但如果不是那种变得很小的横的头像,只是偶尔极个别头像对训练影响不大,就不用麻烦了。
风擎,就是风之引擎。
回复 支持 1 反对 0

使用道具 举报

0

主题

107

帖子

1776

积分

初级丹圣

Rank: 8Rank: 8

积分
1776

万事如意节日勋章

发表于 2023-3-28 16:44:01 | 显示全部楼层
感谢分享
回复

使用道具 举报

2

主题

212

帖子

1868

积分

初级丹圣

Rank: 8Rank: 8

积分
1868
发表于 2023-3-28 17:51:13 | 显示全部楼层
感谢分享
回复

使用道具 举报

2

主题

25

帖子

1652

积分

初级丹圣

Rank: 8Rank: 8

积分
1652
发表于 2023-3-28 19:36:16 | 显示全部楼层
和FFHQ比怎么样啊
回复 支持 反对

使用道具 举报

26

主题

333

帖子

2万

积分

高级丹圣

风擎

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27752
 楼主| 发表于 2023-3-28 20:35:36 | 显示全部楼层
本帖最后由 windjet 于 2023-3-28 20:37 编辑

FFHQ分辨率是1024的,7万张头像就有90GB大小,所以分辨率是比不上的,但CelebA在数量上是FFHQ的3倍,有20万张,却不到6GB,而且角度比FFHQ全,基本上能做到无死角全角度训练,训练384模型及以下模型CelebA是占优势的,训练512及以上模型请用FFHQ。
风擎,就是风之引擎。
回复 支持 反对

使用道具 举报

10

主题

2828

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
17198

万事如意节日勋章

发表于 2023-3-29 10:09:06 | 显示全部楼层
20W那个数据集里有几张头像是横着的
回复 支持 反对

使用道具 举报

10

主题

2828

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
17198

万事如意节日勋章

发表于 2023-3-29 10:12:15 | 显示全部楼层
另外,你的这些图都没有遮罩
回复 支持 反对

使用道具 举报

26

主题

333

帖子

2万

积分

高级丹圣

风擎

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27752
 楼主| 发表于 2023-3-29 10:56:27 | 显示全部楼层
本帖最后由 windjet 于 2023-3-29 11:02 编辑
poiu88 发表于 2023-3-29 10:12
另外,你的这些图都没有遮罩

对,是没有加遮罩在这些图里面,理由有两个:
1,是我已经把一切有遮挡的头像都删除了,五官里面只要有任何一个部分被完全遮挡通常我都会删除掉,但只是部分遮挡,如嘴部的麦克没有完全遮挡就会被保留,所以不用加遮罩,少量遮挡DFL会自动处理的,不用担心训练效果。
2,其实论坛里面也说明过,不推荐在训练头像里面自动适用遮罩后训练,而是推荐在合成阶段再使用遮罩,效果一般不会有折扣,在训练头像里面自动加遮罩有可能造成误判反而影响效果,加遮罩只是减少了一点点训练区域,对整体训练效果提升不大,其实训练区域通常交给DFL默认处理就足够了。
另外,万一有人在意这个,下载后自己加上自己喜欢的遮罩适用一下就可以了,这里提供的还是原始版应该更适合大家的需要。
风擎,就是风之引擎。
回复 支持 反对

使用道具 举报

2

主题

98

帖子

1921

积分

初级丹圣

Rank: 8Rank: 8

积分
1921
发表于 2023-3-30 09:50:43 | 显示全部楼层
这也太贵了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-21 18:57 , Processed in 0.168807 second(s), 42 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表