DF和Liae架构的上的区别和总结

MLGB

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

刘亦菲的脸和凤姐的脸的做比较

DF架构
        Encoder：提取刘亦菲和凤姐的脸部特征。
        Inter：共享中间层处理这些特征。
        Src Decoder：从刘亦菲的特征中生成预测的刘亦菲脸部图像。
        Dst Decoder：从凤姐的特征中生成预测的凤姐脸部图像。
        需要注意的是 中间层都共享了为何还能各自高出各自的特征来进行生成预测
        最大的不同在于Decoder解码器，解码器可以从共享层抽出来各自的数据，但是又有权重的问题，保留了更多的李亦非的数据。
        这也就是说我们都说DF架构像目标脸的原因。
        
        这里面设计到一个光源问题，也就是大家常说的为啥LIAE为何光感好，而DF不行就是中间层的问题，因为这些场景信息都是用的共同特征，如果菲姐没有，凤姐有不行，
        凤姐有，菲姐没有也不行，也就是刘亦菲的数据集覆盖凤姐的所有角度和光照条件，否则生成的图像质量（场景）可能会下降
        
        架构简单


LIAE架构
        Encoder（编码器）：提取刘亦菲和凤姐的脸部特征。
        InterAB
                F_src^AB  菲姐的特征，但同时也包含了一些可以适应目标脸（凤姐）的通用特征。
                F_dst^AB        凤姐的特征，.....................

                刘亦菲：

                                      眼睛：大而圆
                                      鼻子：高挺
                                      皮肤：光滑
                               凤姐：
                                      眼睛：小而细长
                        鼻子：塌
                        皮肤：纹理明显
                共享特征处理：F_src^AB和F_dst^AB
                F_src^AB（刘亦菲的共享特征）
                        眼睛：
                                保留刘亦菲的大而圆的特征，但也会包含一些可以在凤姐脸上适应的特征。比如，共享特征中可能包含眼睛的基本形状和位置，但细节上可能会有所简化以适应凤姐的脸部结构。
                        鼻子：
                        保留刘亦菲高挺的鼻子特征，但为了适应凤姐的脸部，可能会在高度和形状上有所调整。例如，保留鼻子的基本高度和位置，但在形状上做出一些适应性的改变，使其在凤姐的脸上看起来不突兀。
                F_dst^AB（凤姐的共享特征）
                        眼睛：
                                保留凤姐小而细长的眼睛特征，但也会包含一些可以在刘亦菲脸上适应的特征。比如，共享特征中可能包含眼睛的基本轮廓和大小，但在细节上可能会有所简化以适应刘亦菲的脸部结构。
                        鼻子：
                                保留凤姐塌鼻子的特征，但为了适应刘亦菲的脸部，可能会在形状上有所调整。例如，保留鼻子的基本宽度和位置，但在高度上做出一些适应性的改变，使其在刘亦菲的脸上看起来自然。
        
        InterB：生成凤姐的特定特征表示为F_dst^B。
        特征组合：F_dst^AB和F_dst^B进行了组合生成了F_dst^AB || F_dst^B，但由于共享特征的处理方式，引入一些源脸的细节，使得最终生成的图像更加自然。

        解码器就开始工作
        SRC
        DST
        
        架构复杂


优缺点：
        df 保留了细节，而LIAE进行了融合所以细节不充足，而且要名的是df结构简单，没有做一些融合特征那么速度还快，但是问题来了，数据集也就是src和dst数据要全，想要做到角度和光照条件那么要求src和dst 都要有，
        另外在处理脸型上比如小脸打脸，就不如liae了
        
        LIAE那么我们反推，通过融合后角度和光照都很自然，脸型处理也相对自然了，但是相应的数据处理的多了那么自然对硬件要求上就比较苛刻了
        
        那么在视频换脸和ai换脸的时候，我们怎么选择就从容了

视频讲解  bilibili



        
        

wtxx8888

MLGB 发表于 2024-8-4 01:14
对了 关于您说的df补充角度的问题，我认为是有点问题的。您可以看下我最新更新后的文章 ...

DFL补角度很多年前的了。现在不如新的AI。
补总归是邪道。。。很久没弄了。

另，DF与LIAE的优缺点差异，实际上是变形的起点不同。
DF起点为SRC，向DST变，所以像SRC，但与DST融合有问题。
LIAE起点为DST，向SRC变，所以融合好，但跟SRC会有偏差。

这个可以在丹复用，最开始那几次迭代间，高速刷新预览，就能看见。
DF开头时的第五列（融合结果那图）是SRC，而LIAE开头时的第五列（融合结果那图）是DST，然后逐渐向另一边变形。

DF对素材要求高就在这，由于是SRC起步，如果没有与DST直接对应的图，那必然是糊的，连个人样都没。。。
而LIAE是DST起步，哪怕SRC没对应的图，最终也会有个DST的图样在那

wtxx8888

U参的所谓更像，其本质是，SAEHD与SAE两种模型的区别。
没U参是SAE，带U参的是SAEUHD (SAEHD轻量版)，而纯种的SAEHD被取消。
所以U参就相当于SAEHD模型，可不是简单的像不像问题。不带U的都是SAE。。。

MLGB

wtxx8888 发表于 2024-8-4 00:16
U参的所谓更像，其本质是，SAEHD与SAE两种模型的区别。
没U参是SAE，带U参的是SAEUHD (SAEHD轻量版)，而纯 ...

已经在重新这个文章了，没有去把我想表达的表达出来

MLGB

wtxx8888 发表于 2024-8-4 00:16
U参的所谓更像，其本质是，SAEHD与SAE两种模型的区别。
没U参是SAE，带U参的是SAEUHD (SAEHD轻量版)，而纯 ...

对了 关于您说的df补充角度的问题，我认为是有点问题的。您可以看下我最新更新后的文章

WaveBedo

wtxx8888 发表于 2024-8-4 06:11
DFL补角度很多年前的了。现在不如新的AI。
补总归是邪道。。。很久没弄了。

而LIAE是DST起步，哪怕SRC没对应的图，最终也会有个DST的图样在那
------------------------------------------------
有些坛友说，可以通过dst-dst对练，来补角度，
如果liae具有这个功能，是不是就没有必要进行这一步了？

wtxx8888

WaveBedo 发表于 2024-8-4 12:50
而LIAE是DST起步，哪怕SRC没对应的图，最终也会有个DST的图样在那
------------------------------------ ...

起步的清晰度不行啊，大概是7成的清晰度（应该与丹的泛化能力有关，丹泛化越强，起步越清晰）。
有需要的，多少还是要练一下的。

ysyyclnh

感谢大佬分享好文!

港城黎明

你这科普的太复杂了  跟新手直接说  df适合换视频 更像     liae光影更好 适合直播

w7315511

这个刘叔UP主不会就是你吧