这就是不按教程自己埋头炼丹的后果

dfl9999

seancai110 发表于 2025-4-28 20:12
DFL模型恰恰是太小了，和diffusion的模型比起来，参数太少。
但是很奇怪，玩diffusion好像没见大家非常认 ...

dfl模型练成之后是万用的，几乎是实时生成，扩散模型那生成效率是按帧算的，配置低一点的机器几秒能挂机一天！

fengjunwei

seancai110 发表于 2025-4-28 19:48
dfl还达不到99%
去年成龙那部《传说》，应该算是DFL第一次在电影里使用，效果就还不够。
AI主要还是可控 ...

只要不是贴脸的图基本可以达到的，之前的问题是脸型不匹配的太多，现在直接生成人物没这个问题，贴脸确实不行因为细节很难全部学到

至于贴脸的视频，那其实是LORA的强项，FramePack加上hunyuan的LORA基本你用1024X1024贴脸的图片训练出来的LORA做贴脸视频非常逼真了，特别是国漫那种逼真的3D人物，比如凡人修仙传那种，基本上还原度可以和原视频大差不差了

seancai110

fengjunwei 发表于 2025-4-28 22:52
只要不是贴脸的图基本可以达到的，之前的问题是脸型不匹配的太多，现在直接生成人物没这个问题，贴脸确实 ...

你去看一下成龙那电影就知道了。对于玩家来说，可能达到99%，但是对于商业来说，完全不够。

fengjunwei

seancai110 发表于 2025-4-29 03:24
你去看一下成龙那电影就知道了。对于玩家来说，可能达到99%，但是对于商业来说，完全不够。 ...

如果真要达到你心中的99%那目前只有一种办法，就是在FramePack上LORA加原图加别的动作或人物LORA，比如你要一个人物，那就先把你要的人物某个片段5秒中所有关键帧截图，然后用这些图片训练一个LORA，每张图片400步就够了，其实显存够高能开720P分辨率训练完全可以直接用5秒每秒20帧的视频来训练，训练时记得用BF16别开FP8，不然效果差很多，然后FramePack加载这个LORA和你需要的别的LORA，之后上传你训练的这个LORA图片集中任意一张来图生视频，这样不管你再加什么别的人物出现和她互动或者你让这个LORA做什么事情，她都会基本保持和图片外型样貌完全一致性，比拿直接一张图片生成视频不知道高到哪里去了。

但是这个方法有个缺点，就是每个场景都需要提前训练一个LORA，而且没有出现过的场景不能凭空出现，当然你也可以一堆场景一起训练，不过嘛之后新的场景还是需要再训练的，这样做的好处嘛自然是这相似度不管是衣服还是体型还是细节样子只说99%一样其实还是有点谦虚了，除非你见过真人，并且近距离观察过，不然真假难辨。

seancai110

fengjunwei 发表于 2025-4-29 05:33
如果真要达到你心中的99%那目前只有一种办法，就是在FramePack上LORA加原图加别的动作或人物LORA，比如你 ...

这样还不如直接用3d建模，3d要细节堆人工就行，而且人还是比ai好沟通多了。

fengjunwei

seancai110 发表于 2025-4-29 13:03
这样还不如直接用3d建模，3d要细节堆人工就行，而且人还是比ai好沟通多了。 ...

3D建模确实最好，但是要建模一个极致精细的人物耗时太久了，而且就算时间够久也看水平的，国内那些做建模的公司好的能做出凡人修仙传紫灵或者百炼成神这种水平，差的就是武神主宰那种了

但是我5090练个LORA一个场景也就2小时不到。效率高太多了，当然了要是打算做游戏或者动漫的公司自然还是找个建模最好

yxyao

补充一下：
df的丹像dst除了楼主说的情况之外，还有可能是因为预训练开启了梯度裁剪，应该在正训前删掉inter文件和opt文件，以避免pred像dst。具体原理请参考随风大佬的技术贴：

【随风技术论】DFL模型文件的<关系>--详解
https://dfldata.cc/forum.php?mod=viewthread&tid=12662
(出处: deepfacelab中文网)

当然，像楼主提到的那个人的情况，也可以尝试这种方法来解决，理论上应该比从头重新开始训练要快一些，不过具体效果还得试试才知道，我猜测是能够完美解决的，因为pred像dst说白了还是映射残留的问题，而删掉这两个文件就清除了这些残留

dfl9999

yxyao 发表于 2025-4-30 10:08
补充一下：
df的丹像dst除了楼主说的情况之外，还有可能是因为预训练开启了梯度裁剪，应该在正训前删掉inte ...

预训练因为只有一组数据根本就没有建立脸部映射，不过也可以删了试试