src眼睛、嘴巴可以相互交换，生成新的脸吗？

WaveBedo

H8juvbv 发表于 2023-11-21 17:08
问题不错。

经过实践，发现眼和嘴的元素是单独分开的。

你这个发现是一个很重要的发现啊
好多原理我都还没搞得清楚

另外，
模型会不会以生成的新脸为基础，再继续生成，如果可以的话，那就太厉害了

H8juvbv

WaveBedo 发表于 2023-11-21 18:01
你这个发现是一个很重要的发现啊
好多原理我都还没搞得清楚

想要生成的新脸为基础，再去生成，得合成后，把合成图切脸加进去src才行。
不过DFL本来的就有学习过渡的功能，比如生成中间值。例如src两个：  一个睁大大的眼睛+一个闭眼。
是可以生成1个半闭眼的表情的。

WaveBedo

H8juvbv 发表于 2023-11-21 18:16
想要生成的新脸为基础，再去生成，得合成后，把合成图切脸加进去src才行。
不过DFL本来的就有学习过渡的 ...

好的。明白了

H8juvbv

发现同一个角度，DST选择src的概率和占比有点关系。比如某个角度src有7张闭眼的，3张睁眼的，DST很可能就选择了闭眼的。所以如果是换老师的dst，src充足时候，可以把睁眼的图减少，多放闭眼的图。

WaveBedo

H8juvbv 发表于 2023-11-21 21:22
发现同一个角度，DST选择src的概率和占比有点关系。比如某个角度src有7张闭眼的，3张睁眼的，DST很可能就选 ...

我以为是根据loss排序来选的，
模型里面只有一张loss是最接近dst的，那它就会用这一张来替换。
这张loss应该是考虑整体的，不单单是考虑眼睛、嘴巴的。所以，闭眼的它也可能用开眼的来替换。
我不懂原理，纯熟猜测

H8juvbv

WaveBedo 发表于 2023-11-21 22:06
我以为是根据loss排序来选的，
模型里面只有一张loss是最接近dst的，那它就会用这一张来替换。
这张loss ...

不大清楚loss值是否相关。但是dst采用src的时候，是一开始训练就选定了某些src的元素来的。比如某个DST选择了A图的眼睛，和B图的嘴巴。而src的A图和B图的loss值是不一样的。随着训练，loss可能有变化。但是随着训练，该元素会有所细微改变。
然后我尝试改变了闭眼和睁眼的占比，发现开始训练时会选择占比大的那个元素。

WaveBedo

H8juvbv 发表于 2023-11-21 22:16
不大清楚loss值是否相关。但是dst采用src的时候，是一开始训练就选定了某些src的元素来的。比如某个DST选 ...

大概明白了，模型会将眼睛、嘴巴，重新组合配对，然后不断地完善，生成一系列新的脸，
这些脸使用loss来描述它与src的关系的，loss越低就越像src，
同一张dst应该会生成多张眼睛、嘴巴不一样的脸，那loss最低的那张脸就会被选择用来替换，
训练时，每双眼睛的机会都是一样的，所以，占比高的，选择到的机会也高，
但相对于每双眼睛来说，机会应该是一样的。
模型应该会将所有可能的组合，都生成一张脸。
我不懂原理，纯属猜测

经过come3002的提醒，
我重新查看了一些df模型的预览图
以及你发的liae预览图
眼睛、嘴巴会交换这种情况，df是否能够做得到，我又确定不了了
（按照下面20楼坛友zpg的说法，df应该也是可以的）

看你发的预览图，liae是可以做得到的

zpg

当然可以，我经常是根据这个原理去除大量重复又无表情的素材，，还有一点就是角度得差不多一致，比如侧脸的睁眼肯定是补不到正脸的睁眼的，就算补上也很奇怪的

WaveBedo

zpg 发表于 2023-11-22 02:33
当然可以，我经常是根据这个原理去除大量重复又无表情的素材，，还有一点就是角度得差不多一致，比如侧脸的 ...

你使用的是liae结构吗？
我重新看了一些df的预览图，df应该是做不到的，
上面坛友H8juvbv发的liae预览图似乎做得到

zpg

WaveBedo 发表于 2023-11-22 02:40
你使用的是liae结构吗？
我重新看了一些df的预览图，df应该是做不到的，
上面坛友H8juvbv发的liae预览图 ...

都有，感受不出多大差距，素材该有的都会给你放上去的，这也是为什么那种脸部只有半截的src可以保留的原因，因为就算是半截，只要它能很好贴合dst，也会给你换上去的