deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 24|回复: 0

Inter 权重跨分辨率重采样(改分辨率)

[复制链接]

20

主题

219

帖子

1710

积分

初级丹圣

Rank: 8Rank: 8

积分
1710
 楼主| 发表于 2 小时前 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 caiji132156 于 2026-11-21 15:59 编辑

Inter 权重跨分辨率重采样
模型 New416_SAEHD(df-udt,416,e_dims=80,ae_dims=320)。输入为已对齐人脸,BGR,取值 [0,1]。
指标在 XSegLite 掩码内统计,参照为 416 原模型的输出。文中伪逆变换、按张量分组与抗混叠处理均为本项目独立推导与实现。
blend 的定义是 dense1 用逆滤波、dense2 及其 bias 用纯插值。两类张量在计算图中的位置不同,
最优算子也不同,理由见命题 2。
以下是0训练,仅对inter做转换,直接提升分辨率:
compare_all.png
1 命题与证明
记号。编码器特征图为 f ∈ ℝ(C×n²),按通道优先展平;Inter 首层权重场 W ∈ ℝ(C n²×A)。
网格由 n 变为 m,一维重采样算子 L ∈ ℝ^(m×n),二维情形为 L⊗L。λ 为 Tikhonov 系数,ρ = (n²−m²)/n²。
命题 1(插值缺逆滤波) 下游只使用泛函 ⟨W,f⟩。换分辨率后 f′ ≈ (L⊗L)f,因此需要
    (L⊗L)ᵀ W′ = W                                                      (1)
最小范数解与最小二乘解分别为
    W′ = (L⊗L)[(L⊗L)ᵀ(L⊗L)]⁻¹W ,   W′ = [(L⊗L)(L⊗L)ᵀ]⁻¹(L⊗L)W        (2)
前一式对应 m ≥ n,后一式对应 m < n。
证明。(1) 在 m ≥ n 时欠定、m < n 时超定;Moore–Penrose 伪逆解在相应子空间上使残差为零或最小。
可分离算子满足 (L⊗L)† = L†⊗L†,故二维情形可按轴逐次求解。插值只给出 (L⊗L)W,缺少 (LᵀL)⁻¹ 这一逆滤波因子,
它等价于先对权重场做反卷积。该因子会放大量化噪声,实际取 (LᵀL+λI)⁻¹ 与 (LLᵀ+λI)⁻¹。∎
命题 2(按张量分组) dense1 的最优算子为式 (2),dense2 与 bias 为插值本身。
    blend:  dense1  ← pinv,逆滤波;升采样以 lanczos 为基座,降采样以 area 抗混叠;λ = 1e-4 / 1e-1            dense2  ← lanczos,纯插值            bias    ← lanczos,纯插值,与 dense2 同网格                              (3)
证明。dense1 的输入是 f,输出潜码 z = Wᵀf,要保持的是泛函值,故用式 (2)。dense2 的输入是 z,与分辨率无关;
输出为 low×low×C 的特征图场 g = W₂ᵀz。decoder 是卷积网络,换分辨率后它期望同一场在新网格上的采样,
即 g′ = (L⊗L)g,于是 W₂′ = (L⊗L)W₂,插值本身即为正解。若在此处套用 (LᵀL)⁻¹,得到的场被锐化,
既不是 g 的重采样,也落在训练分布之外,并会放大混叠。bias 与该场逐位置对应,须用同一算子。∎
命题 3(降采样下界) m < n 时 rank(L⊗L) = m² < n²,误差存在与算法无关的下界
    min ‖(L⊗L)W′ − W‖_F = ‖(I − P)W‖_F ,   P = proj_{range(L⊗L)}       (4)
证明。任一 W′ 的像都落在 range(L⊗L) 内,残差的正交补分量不可消除。∎
舍弃比例 ρ 决定质量上限:ρ = 0.15(384)、0.41(320)、0.52(288)。升采样 ρ = 0,不存在这项损失。
2 对比数据
表 1 六档目标分辨率的掩码内指标,PSNR dB / SSIM / MAE,粗体为该行最优。
目标
ρ
bicubic
lanczos
pinv(全张量)
blend(本文)
288
0.52
18.20 / 0.728 / 25.7
17.87 / 0.723 / 27.3
16.21 / 0.705 / 28.7
18.30 / 0.704 / 21.7
320
0.41
19.32 / 0.740 / 23.1
19.29 / 0.735 / 23.2
19.10 / 0.714 / 17.6
20.07 / 0.716 / 18.1
384
0.15
23.32 / 0.813 / 13.4
24.32 / 0.842 / 11.8
23.62 / 0.856 / 13.8
26.33 / 0.909 / 9.26
448
0
23.41 / 0.834 / 8.8
25.41 / 0.883 / 7.5
24.78 / 0.892 / 10.8
27.38 / 0.920 / 6.06
512
0
20.26 / 0.814 / 18.8
20.71 / 0.836 / 18.5
20.83 / 0.838 / 20.1
24.22 / 0.857 / 9.21
544
0
18.46 / 0.774 / 24.5
18.88 / 0.808 / 23.9
19.35 / 0.810 / 24.4
23.02 / 0.830 / 11.2
表 2 命题 2 的消融,448,PSNR / SSIM。左右两栏各自固定另一侧。
只改 dense1,dense2/bias 取 bicubic
PSNR / SSIM
只改 dense2/bias,dense1 取早期混合
PSNR / SSIM
nearest
17.52 / 0.645
nearest
18.48 / 0.688
bicubic
23.41 / 0.834
bicubic
24.12 / 0.848
lanczos
23.29 / 0.831
lanczos
26.84 / 0.905
pinv
24.55 / 0.867
pinv
25.22 / 0.883
dense1 取 pinv、dense2 取 lanczos 时,384 / 448 / 512 分别为 26.33 / 27.38 / 24.22 dB,
高于早期单一算子的 25.10 / 26.27 / 23.97 dB。其余参数也已核对:降采样时 dense2 改用 area 低约 4 dB;
λ 在 1e-5 至 1e-4 之间有平台;给 dense2 加入逆滤波,α = 0.15 与 0.30 均单调变差。
3 实现
实现位于 resize_inter.py(github仓库,有需要访问CaijiPlayer258的DeepFaceLab-Pytorch仓库的4.1-beta分支),默认方法为 blend,--method 可回退到
bicubic、bilinear、lanczos 或 pinv。工具实测,416 转 448:PSNR 27.38、SSIM 0.920、MAE 6.06、NCC 0.983。
转换结果只是热启动,投产前需要续训,优化器状态因形状不兼容会被丢弃。


B站菜级玩家
回复

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2026-11-21 18:55 , Processed in 0.104590 second(s), 31 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表