好久没来了 请问下现在换脸技术还是Deepfacelab？

MLGB

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

N久没来了 这2年ai技术发展这么快，还是Deepfacelab老牌的最牛还是有新技术啊？
有没有大神重写Deepfacelab的架构啥的啊？ 现在claude code  ，codex，zcode这种这么牛的软件出来了  有没有优化下Deepfacelab这个开源项目啊？
还有就是生成多角度应该没问题吧？这个应该解决了吧啊？

MLGB

当然了如果没有人重构，我就要开始重写了哈，比如训练时间之前1个月 有没有可能缩短成10天？毕竟现在的claude模型 ChatGPT都发展了这么久了，我这边都有pro的会员，还有就是质量的提升，一些参数的量化上都可以进行优化啊。

目前准备拿出20亿的token来修改一下的问题，并且不断优化 加入新技术！！！

一、训练速度（工程底座）

• 框架：TF 1.13 + leras → PyTorch 2.x + torch.compile ｜ 难度：中 ｜ 收益：1.5–3×，新卡可用
• 计算精度：全 FP32 → bf16 AMP + channels_last ｜ 难度：低 ｜ 收益：~2× 速度，省一半显存
• 优化器：手写 RMSprop lr=5e-5 → AdamW + OneCycle + EMA ｜ 难度：低 ｜ 收益：同质量迭代明显减少
• 数据管线：多进程 + pickle IPC，CPU 增强 → Kornia/albumentations 全 GPU 或 DALI，预缓存图块 ｜ 难度：中 ｜ 收益：数据吞吐 5–10×
• 多卡：TF graph 逐卡复制 + 手工梯度平均 → DDP ｜ 难度：低 ｜ 收益：近线性多卡加速
• 合成阶段：merger 逐帧 CPU + 单次 TF session → ONNX→TensorRT，合成批量化 ｜ 难度：中 ｜ 收益：合成 3–10×
  
  

二、效果（模型层）

• 骨干网络：2018 CNN（space_to_depth + PixelShuffler + Dense inter）→ ConvNeXt/attention 编码器 + StyleGAN2/3 解码器（AdaIN）｜ 难度：高 ｜ 收益：纹理、发丝、身份相似度提升
• 损失函数：10×DSSIM + 10×MSE → 加 LPIPS + ArcFace 身份余弦损失 ｜ 难度：中 ｜ 收益：更像本人，收敛更快
• 判别器：自写 PatchDiscriminator + CodeDiscriminator → StyleGAN2 判别器 + R1 正则 ｜ 难度：中 ｜ 收益：伪影更少
• 眼/嘴处理：仅 eyes_prio/mouth_prio 加权 L1 → 独立高分辨率区域精细化 + 专用眼/嘴增强网 ｜ 难度：中-高 ｜ 收益：表情自然度大增
• 训练范式：从零训练，数万~数十万 iter → ArcFace backbone 预训练初始化 encoder，少样本个性化 ｜ 难度：中 ｜ 收益：迭代减半，小数据集也能出片
• 扩散路线（全新）：无 → SDXL/Flux + InstantID/PuLID/IP-Adapter，少步蒸馏或 LoRA 个性化 ｜ 难度：高 ｜ 收益：单卡几分钟出可用结果，与训练式互补
  
  

三、数据与预处理

• 检测/关键点：S3FD + FAN（TF1 pickle）→ InsightFace（SCRFD + 106 关键点），ONNX 即插即用 ｜ 难度：低 ｜ 收益：对齐/遮罩更稳
• 遮罩：FANSeg/XSeg 手工画多边形 → SAM2 自动分割人脸+发丝，BiSeNet 预填，XSegEditor 只做修正 ｜ 难度：中 ｜ 收益：遮罩质量高且几乎零手工
• 数据增强：CPU HSV/模糊/JPEG/噪声/阴影 → Kornia GPU 全移植 + 镜头畸变、胶片颗粒、压缩仿真 ｜ 难度：低-中 ｜ 收益：真实视频更鲁棒
• 数据集资产：DFL JPG 内嵌元数据（DFLIMG）→ 保留兼容层，加自动筛帧（模糊/闭眼/质量评分）｜ 难度：低 ｜ 收益：省大量手工筛数据时间
  
  

四、合成与后处理

• 人脸修复/超分：FaceEnhancer (pix2pixHD 2018) + cv2.seamlessClone → CodeFormer/GFPGAN + Real-ESRGAN ｜ 难度：低 ｜ 收益：成品清晰度立竿见影
• 时序一致性：逐帧独立处理 → 光流传播遮罩 + face embedding 时序平滑 ｜ 难度：中 ｜ 收益：视频不闪
  
  

五、工程生态

• 权重格式：pickle dict → safetensors + 旧 SAEHD→PyTorch 权重转换器 ｜ 难度：中 ｜ 收益：老模型白嫖迁移
• 安装：TF1.13 + CUDA10 + py3.6 → torch + cu12x，uv/conda/docker 一键环境，Win/Linux/Mac ｜ 难度：低 ｜ 收益：新卡开箱即用
• 监控 UI：OpenCV 窗口 → Gradio web UI + TensorBoard ｜ 难度：低 ｜ 收益：远程可看、体验现代
  
  

总结  训练速度起码，训练速度：同一块卡，大约 3~10 倍，质量来说肯定会更棒的，当然了token的话20亿不够就30亿，写完大家一起测，直到榨干现在的ai大模型能力

Cxsmo

MLGB 发表于 2026-10-7 00:22
当然了如果没有人重构，我就要开始重写了哈，比如训练时间之前1个月 有没有可能缩短成10天？毕竟现在的clau ...

All model training people have made recently will be updated soon

MLGB

Cxsmo 发表于 2026-10-7 00:52
All model training people have made recently will be updated soon

yes After all, this is an 8-year-old project. If it were combined with today's AI technology, I'm sure a new version could definitely be released.