为什么没人把DFL的稠密卷积换成深度可分离卷积

caiji132156

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

质量下降0.1~3个百分点

推理、训练速度翻倍
例如res=256, ae=256, e=64, d=128, dm=32，df-ud
把编码器和解码器里所有的稠密 5×5 / 3×3 卷积换成深度可分离卷积（DW5×5 + PW1×1），参数量从 276,846,046 降到 179,239,854（−35.3%），训练速度约 2 倍
而推理速度，这里我导出为onnx通用算子，也就是dfm
在5070 laptop上面
稠密5*5CNN:20.87ms
深度可分离5*5:10.71ms
推理快了1.95×
如果加上bf16推理则是又快了2.53x，4.23ms
总体快了4.93x
这个思路可以用在DF、LIAE、AMP、MVE、MULAN
解码器越深，同参数提升越明显，质量下降基本上等于fp32切换到bf16的质量下降

caiji132156

已更新到，此模型架构更适合移动端推理：
https://github.com/CaijiPlayer258/DeepFaceLab-PyTorch

675966766