星级打分
平均分:NAN 参与人数:0 我的评分:未评
本帖最后由 caiji132156 于 2026-11-21 15:59 编辑
Inter 权重跨分辨率重采样模型 New416_SAEHD(df-udt,416,e_dims=80,ae_dims=320)。输入为已对齐人脸,BGR,取值 [0,1]。
指标在 XSegLite 掩码内统计,参照为 416 原模型的输出。文中伪逆变换、按张量分组与抗混叠处理均为本项目独立推导与实现。 blend 的定义是 dense1 用逆滤波、dense2 及其 bias 用纯插值。两类张量在计算图中的位置不同,
最优算子也不同,理由见命题 2。 以下是0训练,仅对inter做转换,直接提升分辨率: 1 命题与证明记号。编码器特征图为 f ∈ ℝ(C×n²),按通道优先展平;Inter 首层权重场 W ∈ ℝ(C n²×A)。
网格由 n 变为 m,一维重采样算子 L ∈ ℝ^(m×n),二维情形为 L⊗L。λ 为 Tikhonov 系数,ρ = (n²−m²)/n²。 命题 1(插值缺逆滤波) 下游只使用泛函 ⟨W,f⟩。换分辨率后 f′ ≈ (L⊗L)f,因此需要 (L⊗L)ᵀ W′ = W (1)最小范数解与最小二乘解分别为 W′ = (L⊗L)[(L⊗L)ᵀ(L⊗L)]⁻¹W , W′ = [(L⊗L)(L⊗L)ᵀ]⁻¹(L⊗L)W (2)前一式对应 m ≥ n,后一式对应 m < n。 证明。(1) 在 m ≥ n 时欠定、m < n 时超定;Moore–Penrose 伪逆解在相应子空间上使残差为零或最小。
可分离算子满足 (L⊗L)† = L†⊗L†,故二维情形可按轴逐次求解。插值只给出 (L⊗L)W,缺少 (LᵀL)⁻¹ 这一逆滤波因子,
它等价于先对权重场做反卷积。该因子会放大量化噪声,实际取 (LᵀL+λI)⁻¹ 与 (LLᵀ+λI)⁻¹。∎ 命题 2(按张量分组) dense1 的最优算子为式 (2),dense2 与 bias 为插值本身。 blend: dense1 ← pinv,逆滤波;升采样以 lanczos 为基座,降采样以 area 抗混叠;λ = 1e-4 / 1e-1 dense2 ← lanczos,纯插值 bias ← lanczos,纯插值,与 dense2 同网格 (3)证明。dense1 的输入是 f,输出潜码 z = Wᵀf,要保持的是泛函值,故用式 (2)。dense2 的输入是 z,与分辨率无关;
输出为 low×low×C 的特征图场 g = W₂ᵀz。decoder 是卷积网络,换分辨率后它期望同一场在新网格上的采样,
即 g′ = (L⊗L)g,于是 W₂′ = (L⊗L)W₂,插值本身即为正解。若在此处套用 (LᵀL)⁻¹,得到的场被锐化,
既不是 g 的重采样,也落在训练分布之外,并会放大混叠。bias 与该场逐位置对应,须用同一算子。∎ 命题 3(降采样下界) m < n 时 rank(L⊗L) = m² < n²,误差存在与算法无关的下界 min ‖(L⊗L)W′ − W‖_F = ‖(I − P)W‖_F , P = proj_{range(L⊗L)} (4)证明。任一 W′ 的像都落在 range(L⊗L) 内,残差的正交补分量不可消除。∎ 舍弃比例 ρ 决定质量上限:ρ = 0.15(384)、0.41(320)、0.52(288)。升采样 ρ = 0,不存在这项损失。 2 对比数据表 1 六档目标分辨率的掩码内指标,PSNR dB / SSIM / MAE,粗体为该行最优。 目标 | ρ | bicubic | lanczos | pinv(全张量) | blend(本文) | 288 | 0.52 | 18.20 / 0.728 / 25.7 | 17.87 / 0.723 / 27.3 | 16.21 / 0.705 / 28.7 | 18.30 / 0.704 / 21.7 | 320 | 0.41 | 19.32 / 0.740 / 23.1 | 19.29 / 0.735 / 23.2 | 19.10 / 0.714 / 17.6 | 20.07 / 0.716 / 18.1 | 384 | 0.15 | 23.32 / 0.813 / 13.4 | 24.32 / 0.842 / 11.8 | 23.62 / 0.856 / 13.8 | 26.33 / 0.909 / 9.26 | 448 | 0 | 23.41 / 0.834 / 8.8 | 25.41 / 0.883 / 7.5 | 24.78 / 0.892 / 10.8 | 27.38 / 0.920 / 6.06 | 512 | 0 | 20.26 / 0.814 / 18.8 | 20.71 / 0.836 / 18.5 | 20.83 / 0.838 / 20.1 | 24.22 / 0.857 / 9.21 | 544 | 0 | 18.46 / 0.774 / 24.5 | 18.88 / 0.808 / 23.9 | 19.35 / 0.810 / 24.4 | 23.02 / 0.830 / 11.2 |
表 2 命题 2 的消融,448,PSNR / SSIM。左右两栏各自固定另一侧。 只改 dense1,dense2/bias 取 bicubic | PSNR / SSIM | 只改 dense2/bias,dense1 取早期混合 | PSNR / SSIM | nearest | 17.52 / 0.645 | nearest | 18.48 / 0.688 | bicubic | 23.41 / 0.834 | bicubic | 24.12 / 0.848 | lanczos | 23.29 / 0.831 | lanczos | 26.84 / 0.905 | pinv | 24.55 / 0.867 | pinv | 25.22 / 0.883 |
dense1 取 pinv、dense2 取 lanczos 时,384 / 448 / 512 分别为 26.33 / 27.38 / 24.22 dB,
高于早期单一算子的 25.10 / 26.27 / 23.97 dB。其余参数也已核对:降采样时 dense2 改用 area 低约 4 dB;
λ 在 1e-5 至 1e-4 之间有平台;给 dense2 加入逆滤波,α = 0.15 与 0.30 均单调变差。 3 实现实现位于 resize_inter.py(github仓库,有需要访问CaijiPlayer258的DeepFaceLab-Pytorch仓库的4.1-beta分支),默认方法为 blend,--method 可回退到
bicubic、bilinear、lanczos 或 pinv。工具实测,416 转 448:PSNR 27.38、SSIM 0.920、MAE 6.06、NCC 0.983。
转换结果只是热启动,投产前需要续训,优化器状态因形状不兼容会被丢弃。
|