就训练速度来说的话是算力重要还是显存重要？

fyxtc · 发表于 2023-3-27 13:15:51

星级打分

平均分:NAN 参与人数:0 我的评分:未评

是不是显存只和batch size大小有关呢，其他速度比如训练速度，切脸速度，合成速度都是和算力相关？

Woaiqipao · 发表于 2023-3-27 20:56:53

fyxtc 发表于 2023-3-27 18:34
对了，大佬能说下bs和显存大小的关系吗，比如bs8，bs16需要多少显存，还是说是bs+分辨率和显存的关系？ ...

对显存大小的要求，首先看主要分辨率（resolution）和 ae_dims 这两个值，这两个是训练好的模型固定的无法修改的，一般这两个值都在 256 以下 6G 显存勉强能跑。 BS 大小可以看成和他们是乘法关系，前边两个越大乘以 BS 也就越大。

cjlzkl · 发表于 2023-3-27 13:24:46

差不多。显存还跟模型参数挂钩，现在rg，me，ice啥的在，显存其实没有太重要。但一般显存小的算力也就那样

ken2099 · 发表于 2023-3-27 18:11:45

显存小的话，模型尺寸就不能太大，BS也会受到限制
BS太小会导致模型难以收敛，大概就是上限会很低
切脸速度更多受限于算法，和算力关系不大，GPU一般占用都很低
合算和CPU和gpu都有关系，但是相差不大，快也快不到哪里去
训练基本就是算力相关

fyxtc · 发表于 2023-3-27 18:28:27

ken2099 发表于 2023-3-27 18:11
显存小的话，模型尺寸就不能太大，BS也会受到限制
BS太小会导致模型难以收敛，大概就是上限会很低
切脸速度 ...

又学到了，大佬我问这个问题就是为了等你的丹出炉做准备呢哈哈。日常催更

fyxtc · 发表于 2023-3-27 18:34:04

ken2099 发表于 2023-3-27 18:11
显存小的话，模型尺寸就不能太大，BS也会受到限制
BS太小会导致模型难以收敛，大概就是上限会很低
切脸速度 ...

对了，大佬能说下bs和显存大小的关系吗，比如bs8，bs16需要多少显存，还是说是bs+分辨率和显存的关系？

319617585 · 发表于 2023-3-27 19:56:21

反正两样都要大，显存小搞不了大模型，算力小只能用时间长。

ken2099 · 发表于 2023-3-27 20:36:05

fyxtc 发表于 2023-3-27 18:28
又学到了，大佬我问这个问题就是为了等你的丹出炉做准备呢哈哈。日常催更 ...

还在收尾当中
要不然我发个预览版本

lyjly · 发表于 2023-3-28 04:00:09

大显存的目的是训练大模型，跟速度没什么关系，训练主要看的是算力，不过一般小显存显卡，算力也不咋滴

fyxtc · 发表于 2023-3-28 18:59:56

ken2099 发表于 2023-3-27 20:36
还在收尾当中
要不然我发个预览版本

我觉得预览挺好的，顺便还看下大家和其他大佬的反馈

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）