deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 2756|回复: 16

练专丹是src对练还是src和dst不同

[复制链接]

27

主题

135

帖子

888

积分

高级丹师

Rank: 5Rank: 5

积分
888
 楼主| 发表于 2023-8-22 16:42:04 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
请教下,再有底丹的情况下练专丹是src和dst相同对练,还是src和不同,哪种方式好
回复

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27057

万事如意节日勋章

发表于 2023-8-22 17:02:55 | 显示全部楼层
本帖最后由 come3002 于 2023-8-23 00:17 编辑

就给 樱花小电影换脸而言,论坛下载的大多数底丹,推荐 用 各种国内或樱花女性做DST 炼专丹。

===============================
论坛大多 底丹  是 用 男女老少混合数据集 喂养的。
优点:这类底丹性能强大。可以转为 男女老少 ,欧美,樱花,中国等任何专丹。
问题就是之前写入的信息大,那么仅仅给樱花换脸时候,其他的欧美壮男,老人,欧美女性等就属于了污染信息。并且洗掉污染信息。也比较麻烦。
绝大多数图片是 欧美人士;东方年轻女性比例很低 大约1/20-1/10 )。

如果你只用到樱花小电影上。就可能出现问题
如下图。左侧 224liae 专丹出现了男性特有胡须。

江疏影 胡须.jpg
该女明星本人是 无胡须的。如下图。
360截图20230713090414990.jpg

因而,类似案例说明。拿到手的此类底丹 就需要你自己强化 东方年轻女性的信息, 洗掉 之前的 欧美壮男 胡须啊,欧美女性信息。
做法就是 各种国内或樱花女性做DST 炼专丹。建议 用坛主的三步走来炼专丹



当然具体情况具体分析
如果你改主意了。要做将来 给欧美 年轻女性 小电影换脸 的另外一个专丹
就要在底丹基础上,舍弃 国内、樱花年轻女性DST数据集。荐 用 各种欧美 年轻女性 数据集做DST 炼专丹。
毕竟术业有专攻。欧美年轻女性跟 东方女性五官是有巨大差异的。建议 用坛主的三步走来炼专丹

其他情况,以此类推。
=====================
目前,对樱花国换脸 适合对炼的 只有6.11  320。
古力,素材WF1024 ,
所用素材。嘴唇能看到纹理。牙齿能看到清晰齿缝为佳。

V_000689_0.jpg
87w开始 121w暂停。对炼 35w。预览图出下牙齿,就暂停。

4k 国产 瓜子脸 侧脸45°测试。
开相同参数,零训练直接合成。
左1 坛主迪丽热巴Gan 470w。素材未知 步骤未知。累计未知
左3 6.11古力 。                   素材 WF1024 35w。   对炼        累计 121w
(3840x2160 上传论坛有压缩)
古力 侧脸.jpg

结果:
脸型匹配:古力和坛主迪丽热巴脸型匹配较好。
光影:鼻梁光影接近。
虚影:古力和 坛主 迪丽热巴 两个丹几乎无虚影。
细节:两个丹都接近。坛主的迪丽热巴还是也都能看到 下牙齿等细节。


4k 樱花测试。素人。微微侧脸瓜子脸

古力6.11 5.jpg


结果与上述相同。


6.11 come3.0  是不是偶然现象?

补充实验:从零开始重新对炼的第二个底丹come5.0 (之前模仿 五彩288 自闭2.0 设计的另外一组备选参数,未上传论坛)并转陈都灵专丹。做对照。
素材为论坛下载WF1024. 但炼制过程发现因素材 下牙齿素材,不如古力 下牙齿丰富。炼制20w暂停了。
https://dfldata.cc/forum.php?mod=viewthread&tid=6304&highlight=%E9%99%88%E9%83%BD%E7%81%B5

陈都灵.jpg
只看脸型。光影。come5.0 结果与上述相同。几乎无虚影。


那么是不是偶然因素。瓜子脸啊。刚好配合 陈都灵和古力呢?

补充一个 极限测试。专门找个冬瓜脸。
4k 樱花极限测试。素人。冬瓜脸小可爱测试

左上 坛主 RW版 200w。炼制方法未知
右上 古力 对炼 35w。  6.11 320底丹
右下 陈都灵 对炼21w。 come5.0(未上传论坛)底丹。
古力 脸型.jpg
从该图,遇到这种脸型,坛主的 迪丽热巴RW 出现了微微虚影。(可能与训练 的 东方女性DST素材较少有关。这就是开篇所说的原因。)
古力和陈都灵专丹
底丹对比:两个不同的底丹6.11 come3.0  另一个是 come5.0(参考五彩288 自闭2.0 设置新参数,未上传论坛)。
素材对比:古力是我自切WF1024;陈都灵是坛友切WF1024.
耗费迭代:古力 35w迭代,陈都灵21w迭代。
结果:冬瓜脸看。换脸比较极限胖脸型的樱花 古力和陈都灵专丹也几乎无虚影。
说明6.11 高质 匹配和识别不是偶然。同时也证明,6.11 高质 对炼方法是可行的。
6.11 高质320 也好 come5.0(参考五彩288 自闭2.0 设置新参数,未上传论坛)为底丹,利用国产WF1024,DST是樱花啊国内女性啊。对高矮胖瘦不同东方女性啊,都有很强大的脸型识别和匹配能力。



论坛最近专丹,开一下盲盒。
补充国内4k
瓜子脸测试。
相同参数,零训练直接合成。

左1 论坛专丹 盲盒,(不带SRC 无法继续训练,只能零训练直接合成)
这种专丹400w不知道跑了多久,几天,几个星期?
但测试看对 瓜子脸的都左腮出现了较明显的虚影 底丹强大的脸型识别和匹配丧失殆尽。
使得实用性大大折扣,甚为惋惜。

古力 35w.jpg
(此外又做了其他bed、激战、灰暗。等测试,结果相同。但不方便上传图片)。

结论:

论坛的底丹转专丹。如果将来用给樱花换脸,建议按坛主的三步走步骤反复操作,来洗掉底丹的欧美状男的胡须啊啊,老人啊等信息;用东方女性 数据集做DST训练,以保持、增强识别和匹配能力。否则 零训练直接合成,容易 有男性胡须残留(见第一张图)、有虚影 等影响感观。(见最后一张图,论坛很多上传的 专丹是 不带 src的,只能零训练直接合成。一旦有虚影了,也无改进的余地)

对炼目前看只适合 6.11 320 底丹转 东方女性专丹。
只要素材丰富WF1024 国内年轻女性高清素材(尤其下牙齿等稀有资源要多一点),大约35w迭代古力出接近 坛主 迪丽热巴 470w 迭代效果。并保持很强大的脸型识别和匹配能力,有助于减少 高矮胖瘦 引起的不必要的虚影产生,提升感观。
























回复 支持 2 反对 0

使用道具 举报

0

主题

3

帖子

664

积分

禁止访问

积分
664
发表于 2023-8-22 17:27:04 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

13

主题

405

帖子

2838

积分

初级丹圣

Rank: 8Rank: 8

积分
2838
发表于 2023-8-22 19:37:04 | 显示全部楼层
对练感觉作用不大
回复 支持 反对

使用道具 举报

17

主题

144

帖子

2371

积分

初级丹圣

Rank: 8Rank: 8

积分
2371
发表于 2023-8-22 20:20:41 | 显示全部楼层
对练是安慰
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5559

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5559

万事如意节日勋章

QQ
发表于 2023-8-22 21:51:01 | 显示全部楼层
本帖最后由 Mrdeepfake 于 2023-8-22 21:52 编辑

对练还是有一定意义的。因为一般制备的src素材表情、角度、光影等都比较丰富、完善,你如果懒得去搞dst人物各种角度图,尤其是那些近极限角度图,初期训练用对练方式显然是一种偷懒的选择,能保证src网络和dst网络都得到良好训练,不至于让dst网络由于后续训练素材不足导致退化。但后期正式换dst时,你得重新用dst训练。一些特例,可能你不需要重新训练,直接合成就能得到良好的结果。
回复 支持 反对

使用道具 举报

23

主题

162

帖子

3359

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3359

万事如意节日勋章节日欢乐之星勋章

发表于 2023-8-23 11:28:58 | 显示全部楼层
come3002 发表于 2023-8-22 17:02
就给 樱花小电影换脸而言,论坛下载的大多数底丹,推荐 用 各种国内或樱花女性做DST 炼专丹。

=========== ...

你评论都太干货了 爱死你了 哥~~
回复 支持 反对

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27057

万事如意节日勋章

发表于 2023-8-23 12:25:51 | 显示全部楼层
本帖最后由 come3002 于 2023-8-23 12:32 编辑
hof123 发表于 2023-8-23 11:28
你评论都太干货了 爱死你了 哥~~

建议炼丹走实践。
简单的办法是整一部4k樱花 各种角度切3秒访谈、3秒bed哭啊,3秒灰暗啊、3秒抬头,3秒转动眼球啊。
零训练直接合成。并多下载论坛专丹。如坛主迪丽热巴470w等多比较。比不过人家的专丹不丢人。取人之长。
慢慢就会改进思路。慢慢打磨。
我的古力 10w,20w,25w都停。比如10w发现缺大角度仰角。就补了再跑。
20w发现灰暗不如坛主的迪丽热巴效果好,就停,找灰暗的古力情景。
25w发现其他补上了,下牙齿比不过坛主迪丽热巴。就反复找 。百度图片,剧照啊。不放过一张带下牙齿的。反复打磨。
当各种镜头 接近 坛主迪丽热巴等专丹效果,就差不多了。35w 就停了。
因此,dfl是为了效果服务的,炼练就实践可少走弯路。二来每次改进,每次的进步哪怕一点点,都有一种希望感觉,也可以说是成就感。
一旦硬炼,可能几个星期大量电费,几百w下来才去实践,发现大量的漏洞,大量的虚影,下牙齿模糊,等等就尴尬了。钱是小事。心理落差是有的。







回复 支持 反对

使用道具 举报

4

主题

93

帖子

492

积分

初级丹师

Rank: 3Rank: 3

积分
492
发表于 2023-8-27 02:24:53 | 显示全部楼层
Mrdeepfake 发表于 2023-8-22 21:51
对练还是有一定意义的。因为一般制备的src素材表情、角度、光影等都比较丰富、完善,你如果懒得去搞dst人物 ...

请问下对练完成后,以此为丹1,合成第一个DST前再度训练DST得到丹2,后面要合成第二个DST时是继续用丹2还是再度用丹1来训练DST?
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5559

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5559

万事如意节日勋章

QQ
发表于 2023-8-27 17:21:29 | 显示全部楼层
459717439 发表于 2023-8-27 02:24
请问下对练完成后,以此为丹1,合成第一个DST前再度训练DST得到丹2,后面要合成第二个DST时是继续用丹2还 ...

都行。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-24 05:55 , Processed in 0.138966 second(s), 42 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表