【统计】搞了个高loss重复次数的选项

奇奇怪怪的ID

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

这些天搞了这么个玩意儿


1.周期性训练：

    作用是当你启动了周期性训练，满足你设置的周期后将这个周期内最高loss的一个批次样本提取出来重新训练一遍，
    有助于难练的素材得到更多的训练机会（这里注意！是难练的素材，不是错图）

    更新点：

        a)增加设置项，可以自定义周期内最高loss的一个批次样本提取出来重新训练的次数。

        b)原来开启周期性训练会导致周期训练时的迭代数不计入模型迭代次数里（迭代时间看似增加实则为两次迭代的时间总和），
           现在改为根据实际迭代正确的将次数写入模型。




2.训练过程的文件名及loss一一对应导出，并完善配套的分析方式（多种）、匹配loss值范围的素材自动挑选（就是根据所处范围移动到相应文件夹）、复位（复位到原来的素材文件夹aligned）


原始数据：




排除loss剧烈波动后的分析文件：



根据计算方式不同的输出：
计算方式有三种，最小值、平均值、最大值


根据计算方式的结果自动移动到相应的文件夹：



最后就是一键复位，将删剩的素材复位到原来的文件夹




额...发这个帖的意思是看下有多少人需要，低于20个人我就不费这个劲了，前段时间有个人一直催我要预览图显示loss值，本来想着小改动没必要单独发的，催烦了就先发了

wtxx8888

我今天也刚写了循环训练，修复迭代计数统计，测试多次训练的效果并不好，LOSS不降反升。



看到向上的弧度了没？我一开多次，LOSS就会升。

奇奇怪怪的ID

wtxx8888 发表于 2024-9-15 22:45
我今天也刚写了循环训练，修复迭代计数统计，测试多次训练的效果并不好，LOSS不降反升。

...

怎么会，应该是高loss重复了n次有n个从高到低的迭代过程导致计算平均loss时控制台显示偏高吧


给你看下参与到循环训练的样本loss导出



虽说有一点波动，但是都是稳步下降的

wtxx8888

奇奇怪怪的ID 发表于 2024-9-15 22:54
怎么会，应该是高loss重复了n次有n个从高到低的迭代过程导致计算平均loss时控制台显示偏高吧

我一开多次，必然升LOSS

奇奇怪怪的ID

wtxx8888 发表于 2024-9-15 22:45
我今天也刚写了循环训练，修复迭代计数统计，测试多次训练的效果并不好，LOSS不降反升。

你有没有更新 loss_history

不过初期偏高也正常，比如以往你都是平均0.23，循环训练时挑的是最高0.37的一批样本，那么这批样本会重复输出0.375、0.372、0.369、0.363......类似的输出

你看我的循环三十次

wtxx8888

奇奇怪怪的ID 发表于 2024-9-15 22:56
你有没有更新 loss_history

都更新了，现在都不会卡一下，就跟正常训练一样的顺。等有空，再测试测试吧。。。

奇奇怪怪的ID

wtxx8888 发表于 2024-9-15 23:00
都更新了，现在都不会卡一下，就跟正常训练一样的顺。等有空，再测试测试吧。。。

...

我做好后，统计的有人需要的话，发给你整合一下，我两也碰撞一下，看能不能有个最优解

wtxx8888

奇奇怪怪的ID 发表于 2024-9-15 23:04
我做好后，统计的有人需要的话，发给你整合一下，我两也碰撞一下，看能不能有个最优解 ...

大尺标看曲线，跟你一样的锯齿状态，但存盘平均值，一直是升的



我学C/C++的，python很多看不懂，可能代码写的不太好，等看看你的吧，哈哈~

奇奇怪怪的ID

wtxx8888 发表于 2024-9-16 00:16
大尺标看曲线，跟你一样的锯齿状态，但存盘平均值，一直是升的

你试一下，我之前是self.loss_history.append((np.mean(src_loss), np.mean(dst_loss))）的,刚刚改成self.loss_history.append([np.mean(src_loss), np.mean(dst_loss)])

wtxx8888

奇奇怪怪的ID 发表于 2024-9-16 01:28
你试一下，我之前是self.loss_history.append((np.mean(src_loss), np.mean(dst_loss))）的,刚刚改成self. ...

额，我是照扒ModelBase.py的代码。你这跟我开始的计数方式差不多，但我仔细想了想，这样简单的计数，是有BUG的。
意味着，最后两次的记录，是重训练的两次重复（循环时记录了，返回后又记录一遍），而不是一次正常，一次重训练。

另，真脸倒无所谓，只用warped_src，warped_dst。
但GAN训练，应该在重训练之前完成。
不然重训练会对部分变量，进行新的赋值，从而刷掉了GAN用的，除warped_src，warped_dst之外的变量。
这会造成GAN的BUG，不是同一套的数据，在训练GAN。。。


    def onTrainOneIter(self):
        if self.get_iter() == 0 and not self.pretrain and not self.pretrain_just_disabled:
            io.log_info('您正在从头开始训练模型。强烈建议使用预训练模型来加快训练速度并提高质量。.\n')

        # 生成下一组样本数据
        ( (warped_src, target_src, target_srcm, target_srcm_em), \
          (warped_dst, target_dst, target_dstm, target_dstm_em) ) = self.generate_next_samples()

        # 使用SRC和DST样本进行训练，并计算LOSS
        src_loss, dst_loss = self.src_dst_train (warped_src, target_src, target_srcm, target_srcm_em, warped_dst, target_dst, target_dstm, target_dstm_em)

        # 如果启用了真实人脸权重，且不是预训练模式
        if self.options['true_face_power'] != 0 and not self.pretrain:
            # 训练判别器
            self.D_train (warped_src, warped_dst)

        # 如果启用了GAN权重
        if self.gan_power != 0:
            # 训练带有SRC和DST的判别器
            self.D_src_dst_train (warped_src, target_src, target_srcm, target_srcm_em, warped_dst, target_dst, target_dstm, target_dstm_em)

        # 如果启用了重训练样本选项
        if self.options['retraining_samples']:
            bs = self.get_batch_size() # 获取批量大小
            lossi = self.options['high_loss_power'] # 获取高LOSS权重参数
            cycles = self.options['number_of_cycles'] # 获取高LOSS训练次数参数

            # 记录最近一批次的样本，及其LOSS
            for i in range(bs):
                self.last_src_samples_loss.append (  (target_src, target_srcm, target_srcm_em, src_loss )  )
                self.last_dst_samples_loss.append (  (target_dst, target_dstm, target_dstm_em, dst_loss )  )

            # 当记录的样本数量，达到设定的权重时
            if len(self.last_src_samples_loss) >= bs*lossi:
                # 获取正常训练样本的平均LOSS值
                losses = ( ('src_loss', np.mean(src_loss) ), ('dst_loss', np.mean(dst_loss) ), )
                # 将正常训练样本的LOSS值，写入历史记录
                self.loss_history.append ( [float(loss[1]) for loss in losses] )
                # 迭代器计数，记录正常的这次
                self.iter += 1

                # 根据LOSS，对样本进行排序
                src_samples_loss = sorted(self.last_src_samples_loss, key=operator.itemgetter(3), reverse=True)
                dst_samples_loss = sorted(self.last_dst_samples_loss, key=operator.itemgetter(3), reverse=True)

                # 选择LOSS最高的一批样本，用于重新训练
                target_src        = np.stack( [ x[0] for x in src_samples_loss[:bs] ] )
                target_srcm       = np.stack( [ x[1] for x in src_samples_loss[:bs] ] )
                target_srcm_em    = np.stack( [ x[2] for x in src_samples_loss[:bs] ] )

                target_dst        = np.stack( [ x[0] for x in dst_samples_loss[:bs] ] )
                target_dstm       = np.stack( [ x[1] for x in dst_samples_loss[:bs] ] )
                target_dstm_em    = np.stack( [ x[2] for x in dst_samples_loss[:bs] ] )

                # 重新训练的次数
                for i in range(cycles):
                    # 使用已选定的SRC和DST样本，重新进行训练，并计算LOSS
                    src_loss, dst_loss = self.src_dst_train (target_src, target_src, target_srcm, target_srcm_em, target_dst, target_dst, target_dstm, target_dstm_em)
                    # 判定是否为 最后一次 是0则交由返回进行记录 不是0则在循环内记录
                    if i != 0:
                        # 获取重训练样本的平均LOSS值
                        losses = ( ('src_loss', np.mean(src_loss) ), ('dst_loss', np.mean(dst_loss) ), )
                        # 将重训练样本的LOSS值，写入历史记录
                        self.loss_history.append ( [float(loss[1]) for loss in losses] )
                        # 迭代器计数，记录重训练的这次
                        self.iter += 1

                # 清空记录样本的LOSS列表
                self.last_src_samples_loss = []
                self.last_dst_samples_loss = []

        # 返回SRC的平均LOSS，和DST的平均LOSS
        return ( ('src_loss', np.mean(src_loss) ), ('dst_loss', np.mean(dst_loss) ), )  # 返回ModelBase.py 那边会写最后一次的记录