用GTP 修改了一个适合6GB的LORA训练参数真的适合吗？

koower5512 · 发表于 2023-4-7 00:51:29

本帖最后由 koower5512 于 2023-4-7 01:00 编辑

GTP : 为了适应6GB显存，您可以进行以下修改：

将$batch_size设为1，这将减少显存的使用，但会增加训练时间。
减小[size=1.21em]��和networkdim和network_alpha的值，可以尝试将它们降至16或更低，以降低模型的复杂度，从而减少显存的使用。
将$resolution设置为更小的值，例如256x256，这将减少输入图像的大小，从而减少显存的使用。
关闭$train_unet_only选项，以使用默认的训练设置。这将减少对显存的要求。
将$persistent_data_loader_workers设为0，以减少每个epoch之间的内存占用。
如果需要，可以尝试将[size=1.21em]��8��和use8bitadam和use_lion选项设为0，这将使用标准的Adam优化器，但可能会降低训练速度和模型性能。

koower5512 · 发表于 2023-4-7 00:58:05

AI 给出了训练参数修改建议并且帮我修改好了这样会不会出图不清晰

AKERSHUS · 发表于 2023-4-7 09:26:33

你都玩gpt了，云端训练不就行了

koower5512 · 发表于 2023-4-7 12:56:22

本帖最后由 koower5512 于 2023-4-7 12:58 编辑

AKERSHUS 发表于 2023-4-7 09:26
你都玩gpt了，云端训练不就行了

想不到这GTP还懂这玩意—的确应该让GTP写一个训练脚本挂机但是还是想自己研究一下

jack147852 · 发表于 2023-4-28 11:16:01

batch size肯定是1的,dim和alpha的值小点就细节学的不是太好,有可能过拟合,你多几个epoch好了慢慢挑,256*256的素材不太建议,效果有点差,最后一个use8bitadam是肯定要选的,并不能设为0,因为这个本身就是优化了的,你直接使用adam效果不好

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

用GTP 修改了一个 适合6GB的LORA训练参数 真的适合吗？