如何提高Lora模型质量-从图片预处理入手

omesa

aeoluszan 发表于 2023-2-26 21:42
最下方Script里的x/y/z

谢谢解答啊

timlee0719

請問樓主，如果我想訓練的是某二次元角色的服裝，包括頭髮和髮飾再畫擬真cosplay效果，我會拿一堆2D照片做訓練，請問有技巧可以避免電腦訓練2D角色的臉嗎

羊衔玉

timlee0719 发表于 2023-3-1 12:43
請問樓主，如果我想訓練的是某二次元角色的服裝，包括頭髮和髮飾再畫擬真cosplay效果，我會拿一堆2D照片做 ...

使用dreambooth，将衣服等特征删除，https://wikiwiki.jp/sd_toshiaki/LoRA?word=lora#x5a23f01这个或许对你有帮助

G2Omishi

大佬您好，我看了你这个帖子看了一天了，逐字逐句的在读，这个东西困扰我很久了
我以下有几个问题，看您可否回答一下

1. AI是怎么判断你用的tag生成的描述还是用自然语言生成的描述，用tag生成就要删人物特征，用自然语言生成就要加人物特征，这个AI是怎么判断的呀

2.如果我用自然语言生成的标签，我手动加了人物特征，在练好了lora以后，我还需要在prompt里写这些人物特征嘛？？

看到能否抽空回答一下，谢谢谢谢

G2Omishi

然后我还想补充下，关于这类真人，有很多人物的特色是笑的表情，在练习的时候一定要加进去，不然辨识度很低，例如李沁和李一桐，这两个人练出来是差不多的，但是李一桐就爱笑，她的笑是很有辨识度的

羊衔玉

G2Omishi 发表于 2023-3-5 16:54
大佬您好，我看了你这个帖子看了一天了，逐字逐句的在读，这个东西困扰我很久了
我以下有几个问题，看您可 ...

1.生成方式不一样，BLIP生成的就是自然语言，你看我的图片中有框选，这是两种不同的字幕生成方式
2.不需要，只输出触发的自定义关键词即可

G2Omishi

羊衔玉 发表于 2023-3-5 21:27
1.生成方式不一样，BLIP生成的就是自然语言，你看我的图片中有框选，这是两种不同的字幕生成方式
2.不需 ...

是的，我知道生成方式不一样，这些生成的还不是要给AI去看的，问题是为什么自然语言就要加人物特征，而散碎的tag就要删除人物特征，AI能识别出来这是什么生成方式嘛？

668360

w156443333 发表于 2023-2-27 17:33
这个让我比较困惑，我看到好几个论坛内大佬的教学和外网的教学视频，训练素材的tag，可以理解为反向的tag ...

一样一样，这个问题一直困扰我，一直弄不明白，教程说是反着打，有些又说不是

668360

羊衔玉 发表于 2023-2-27 19:49
这是两种字幕文件处理方式，对于dreambooth，使用减法，对于BLIP，使用加法，稍后我会更新dreambooth是字 ...

大佬，按照你的BLIP打标方法，是不是自动生出来那一长串描述词不能删，然后再加人身特征比如脸啊，眼睛什么的？
用dreambooth打标方法就反着来？

羊衔玉

668360 发表于 2023-3-7 17:09
大佬，按照你的BLIP打标方法，是不是自动生出来那一长串描述词不能删，然后再加人身特征比如脸啊，眼睛什 ...

对，是这样