关于使用金鱼大佬的全角度素材补角的问题

ww6er

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

最近一直在研究这个素材补角的问题，因为有的时候说实话很多人物的角度很难收集全，所以大概率在很多情况下只能获取有限的角度，如何利用有限的角度，整理一套全角度的人物SRC，训练出一个高级模型，一直是本人的追求，毕竟模型嘛，拿过来恶搞一下，换换脸什么的，没什么意思，付出了这么多的时间和精力，去研究这个东西，要是能让模型做直播，那就完美了，直播的话，人的头不可能永远朝着一个方向，万一哪个角度训练的不够，一转过脸去，变成一个老妖怪，不把粉丝吓死啊？本人在使用live测试过很多次，角度刁钻一点有的时候都能吓到自己，没办法，一直在想这方面的办法，最近滚石大佬出了个根据角度生成的SRC图片的教程，由于本人目前对AI绘画底层的某些原理没有怎么接触过，对其中的奥义可能短时间还不能攻克，所以打算有时间去研究滚石大佬的方法，但是对于这个问题，论坛里的金鱼大佬给出一个SRC补角的方案，本人看到之后，深受启发，无奈，入行太浅，道行不足，无法深刻理解其中的奥义，经过几个晚上的辛苦操练，发现有一部分角度补的还是很完美的，大概占了四分之一左右，其他四分之三中，有相当一部分，是缺鼻子，要么就是DST的外形强行盖住了SRC，使得合成后的图片效果不尽如人意。我特意挑选了几个常见的问题，发在下面的图片中，让dst于src进行比较，希望大佬看了之后，多提宝贵意见，图片不同，问题出现的位置肯定不一样，不知道到底是底丹的问题，还是训练参数的问题，希望各路大佬多给点意见，本人不胜感激~

wtxx8888

补角度就是用AI绘图，DFL训练这个过时了。

z6163727

這種超級大側臉我是沒去搞過，畢竟連人的眼睛看這樣的大側臉也看不太出這是誰，所以就沒補這種角度的

倒是有用 "VAM" 這個軟體補一些連貫的角度，連貫動作(嘴吧講話W發音T發音B發音之類的嘴型)
金魚大大的這個補角度也弄過，不過VAM這個可以自己捏臉，捏接近你SRC的樣子，
入門也不難稍微學學就能入門
比喻阿  下面這張圖  圈圈代表臉的角度，
從綠先做一批連貫的補角度>再把成品切臉+原始SRC做紅色
等效果好在拿綠色+紅色+原始SRC下去做藍色
依此類推

不過有個重點，我看過有人的看法是，你的模型都學會了模擬出那些角度了
也不用切出那些成品出來一起訓練，
但我還是比較推崇練出來後，你覺得超級好的臉保留當素材在加進去練




第一張 定位有問題或是遮罩，圈起來的部分沒被效果覆蓋到，
SRC的鼻子沒這麼高 覆蓋不了DST的原圖，
不過下面嘴唇還有下巴也沒貼合好，所以遮罩應該也有問題
但就算沒這個問題，訓練出來的效果也不好，應該是素材不夠吧
有這附近角度的素材嗎，這個第一張當成是黑圈最左邊的話，你有至少藍圈或紅圈的素材嗎(黑圈 藍圈 紅圈指上面我給的圖)
沒有的話慢慢補看看
然後弄一些比較接近SRC的照片(DST)來補角度


第二張更明顯我就不畫圖了眼睫毛都沒被蓋住鼻子看起來怪怪的也是因為重疊到DST的鼻子臉頰下巴(遮罩有問題)
第三張看起來怪怪的也是DST的眉毛 眼睫毛 以及右邊的鼻孔...(遮罩有問題)
第四張應該看的出來DST鼻子露出來(遮罩有問題)就不細說了，這DST是閉眼的但合成效果出來隱隱約約看的出來是張開眼睛的，閉眼素材不夠
第五張上面說了DST鼻子(遮罩有問題) 閉眼素材
第七張還是DST的邊緣露出來(遮罩有問題)模糊素材
第六張也是遮罩跟素材，不過我把DST多出來的刪掉之後看起來還是有點感ˋ覺得，
只是整個臉形下巴都不合綠色圈起來的臉裡也不行，所以DST補角度素材好了你的SRC還是素材不夠



第8張...........就算SRC有這素材你也看不出他是誰吧
第9張素材不夠遮罩也沒有很好


總結你的側臉鼻子蓋不太住我的看法是DST鼻子的高度，

具體鼻子的細節我不會說  DST山根鼻翼之類的比較高之類的，或是根本遮罩就沒弄好
並且某些DST素材是閉眼，你練出來是睜眼，
建議你可以先練綠圈補齊表情，眼睛(翻白眼，閉眼，擠眉弄眼)，嘴吧(說話口型，微笑，張嘴大笑，單邊笑)
眼睛可以用修圖軟體弄，眼睛不一樣表情差很多

綠圈正臉弄好再補紅圈，直播效果應該就相當炸裂了
藍圈黑圈我感覺沒必要做

鋼の煉金術師

我看别人直播时用的光头，那个是真的剃光头还是套了个头皮道具？ 这么做的原理是什么呢？

zpg

太杂乱了这种素材，还不如考虑一张图换脸，一张一张试，看看哪个最像

ww6er

wtxx8888 发表于 2024-3-28 00:15
补角度就是用AI绘图，DFL训练这个过时了。

大佬，你说的AI绘图，是滚石大佬的那个方案吗？

ww6er

z6163727 发表于 2024-3-28 00:10
這種超級大側臉我是沒去搞過，畢竟連人的眼睛看這樣的大側臉也看不太出這是誰，所以就沒補這種角度的

倒是 ...

首先，感谢大佬的评论，我有几点问题想问一下大佬：1.dst眼睛是闭的，我训练出来的眼镜是睁着的，这个是底丹没有训练闭眼或者是闭眼素材训的少导致的吗？因为底丹是用别人的底丹，具体用哪些素材训得我也不大清楚，如果是这方面的原因，我在把底丹在训练一下闭眼或者表情。2.鼻子盖不住可能是SRC鼻子没有这么高，那能不能有什么设置在合成的时候让dst的鼻梁不显示，只显示src的鼻梁呢，这样不就盖不住了吗，是不是因为我在训练的时候什么参数忘记开了，导致这个鼻子的问题 3.大佬你说的遮罩的问题，因为是补角素材嘛，我从女src原图（含头发的那轮素材）切脸后，训练了一轮，然后将训练好的素材（光头），再进行切脸，得到只有光头的女素材是准备再训得，这个素材里面女SRC是没有头发的，所以就没有开启遮罩，因为五官没有遮挡嘛，所以遮罩的问题我感觉不大，会不会有其他的原因？

wtxx8888

ww6er 发表于 2024-3-28 09:55
大佬，你说的AI绘图，是滚石大佬的那个方案吗？

滚石的我还没测试，不过看大家反响不错。

z6163727

ww6er 发表于 2024-3-28 10:04
首先，感谢大佬的评论，我有几点问题想问一下大佬：1.dst眼睛是闭的，我训练出来的眼镜是睁着的，这个是 ...

1.就是你素材不夠，跟丹底無關
睜開眼睛 閉眼，如果沒有閉眼的素材修圖或AI繪圖






2在合成條參數有很多種方法可以單純的蓋住DST   邊緣模糊調高或是U還是J放大，但那都不是真正解決問題
跟3的問題一起說，我說得很清楚是DST的遮罩，就算沒遮擋物，整張照片哪裡是眼睛嘴吧鼻子一樣要標示出來，特別是側臉鼻子眼睫毛
你那些照片就明顯邊緣界線不夠清楚，而且就算邊緣遮罩都弄好了，整體還是素材不夠，合成出來就還是糊的

你得到的光頭素材，還是要遮罩阿，
在重複多看幾次我上面的留言吧，有給你步驟建議


然後下面這是我用滾石大大分享的工作留弄得，補角度挺好用

无敌小金鱼

补全需要循序渐进，你的图有些脸部定位点你可能也没修复，超极限角度需要很多时间和耐心去训练的，但是你的底图确实很一般，全都是经过PS的自拍照，比较单一，所以我建议你先用滚石的AI绘画工作流来跑个一两千张非常接近本人相似度的素材，在这个基础上再来混合一小部分精选出来的现实照片重新训练补全。

滚石的AI绘画的换脸工作流虽然没法实现极限角度，但大部分的角度是没问题的，所以在此基础上再去训练效果应该会更好。