deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1300|回复: 19

Xseg一直以來很困擾的問題....

[复制链接]

41

主题

215

帖子

3903

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3903
 楼主| 发表于 2023-9-6 18:09:59 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 main9dog 于 2023-9-6 18:11 编辑

我1部影片, 同一個女主角剪接成2部(A影片、B影片)

A影片,我手動畫了20張(張嘴、閉嘴....等)。

理論上訓練好的 XSeg_data.dat,我直接 Add 到 B影片,幾乎都會套對我的遮照。

但偶而會有這種「漏網之魚」連續好幾貞.....

如果我B影片,只針對這張劃遮照(可能影片A剛好沒這貞,所以也沒劃到,誤以為要全臉)
0001.png


去訓練 xseg 在Add 會變成

我本來一堆本來Xseg套對的臉,都套不對遮照了...

這問題到底怎麼解決?

1. 每次都要在B影片重新再把不對的遮照在手動畫遮照,等於又要做白工化遮照快20張。

2. 單獨把這類套不對的照片一張一張挑出來,各別訓練,在ADD回去,之後這個 XSeg_data.dat也廢掉了,因為他只會記得這個角度的要這樣遮。

不管是用1 還是要 2 都很花時間,偶爾會只有單單幾張的話,我就會用2的方式。

這問題是不是無解啊?
回复

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12616
发表于 2023-9-6 18:36:34 | 显示全部楼层
你把遮罩模型复制一份不就行了。
不过,其实有个更直接方法,就是直接从多边形生成mask。这样可以实现直接改mask。我自己写了个python,但是鉴于大部分人没有ide,不会配置运行,我也懒得分享了。我也不会写bat,现在没空研究这个
回复 支持 反对

使用道具 举报

41

主题

215

帖子

3903

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3903
 楼主| 发表于 2023-9-6 18:41:10 | 显示全部楼层
本帖最后由 main9dog 于 2023-9-6 18:44 编辑
seancai110 发表于 2023-9-6 18:36
你把遮罩模型复制一份不就行了。
不过,其实有个更直接方法,就是直接从多边形生成mask。这样可以实现直接 ...

模型複製一份是什麼意思?

我的意思是,A已經劃好訓練好的遮照,拿去訓練B,B如果沒有劃 一樣的遮照, XSeg_data.dat為以為你只要訓練一張(手劃的那張遮照)
「XSEG訓練」感覺不會疊加,而是覆蓋.....


有個想法可以解決這問題,但好像沒有軟體做這個功能

你ADD後每張都會套上「XSeg過的遮照」如果可以做一個功能,將「XSeg過的遮照」反推產生出手劃的綠線,這樣至少只要微調哪張就好了。

回复 支持 反对

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12616
发表于 2023-9-6 18:47:02 | 显示全部楼层
main9dog 发表于 2023-9-6 18:41
模型複製一份是什麼意思?

我的意思是,A已經劃好訓練好的遮照,拿去訓練B,B如果沒有劃 一樣的遮照, X ...

我的意思是,用2的方法。然后复制一份xseg模型,就专门训练这几张。目的就是把你画的多边形变成mask。

当然,如果会写代码,可以省掉训练过程。直接给错误的文件画多边形,然后写入成mask
回复 支持 反对

使用道具 举报

41

主题

215

帖子

3903

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3903
 楼主| 发表于 2023-9-6 18:49:07 | 显示全部楼层
seancai110 发表于 2023-9-6 18:47
我的意思是,用2的方法。然后复制一份xseg模型,就专门训练这几张。目的就是把你画的多边形变成mask。

...

我目前就是大多複製起來,然後用2的方法,缺點就是要一貞一貞看哪些套的XSEG不滿意要挑出來,很費時....

這樣看來大家都有這問題==我就放心了 XD
回复 支持 反对

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12616
发表于 2023-9-6 19:13:05 | 显示全部楼层
main9dog 发表于 2023-9-6 18:49
我目前就是大多複製起來,然後用2的方法,缺點就是要一貞一貞看哪些套的XSEG不滿意要挑出來,很費時....
...

如果你用的是xseg神丹,很难改动。光是训练就很费事。
回复 支持 反对

使用道具 举报

20

主题

499

帖子

5万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
53613

真我风采勋章

发表于 2023-9-6 20:04:10 | 显示全部楼层
seancai110 发表于 2023-9-6 18:47
我的意思是,用2的方法。然后复制一份xseg模型,就专门训练这几张。目的就是把你画的多边形变成mask。

...

导出线条生成的黑白mask,再替换掉训练的mask,两步其实也简单,之前实现过替换,有空单独搞个软件
回复 支持 反对

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12616
发表于 2023-9-6 20:07:49 | 显示全部楼层
fanda 发表于 2023-9-6 20:04
导出线条生成的黑白mask,再替换掉训练的mask,两步其实也简单,之前实现过替换,有空单独搞个软件 ...

其实这个功能挺有用的,有时候就是遮罩有点问题,直接随手改了就行。
当然,如果能有画笔功能,直接改mask更好了。
mve是可以读取图片原来的mask,转成多边形,然后mve有画笔,可以画多边形。然后我用自己的脚本,把多边形导出成mask就行。这中间还是要转换成多边形,有点麻烦。
回复 支持 反对

使用道具 举报

20

主题

499

帖子

5万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
53613

真我风采勋章

发表于 2023-9-6 20:18:15 | 显示全部楼层
seancai110 发表于 2023-9-6 20:07
其实这个功能挺有用的,有时候就是遮罩有点问题,直接随手改了就行。
当然,如果能有画笔功能,直接改mas ...

SD有笔画刷子,感觉太粗了
回复 支持 反对

使用道具 举报

0

主题

1

帖子

9

积分

初级丹童

Rank: 1

积分
9
发表于 2023-9-6 20:39:10 | 显示全部楼层
我也一样对Xseg很困扰
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-12 09:19 , Processed in 0.177100 second(s), 36 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表