学习DF架构换脸原理后想到一个场景:(目击者负责把图像变为文字描述,即编码器,刑侦专家是解码器) 训练过程
(即已经有嫌疑人长相的照片的情况,但是刑侦专家不提前看照片,等画像后再和嫌疑人的照片进行比对): 目击者描述嫌疑犯的特征,把嫌疑犯的图像转换为,刑侦专家根据文字描述和自己对人脸的理解开始作画。
作画后会比对嫌疑犯长相,比对偏差了多少(loss 值)。
然后刑侦专家用电棍/普通警棍抽目击者,告诉目击者哪里说的不准让其调整描述(反向传播)。
如果用电棍抽,目击者会更多的修改描述,可能会改的太多偏差过大。(学习率过大)。
一轮训练完成,然后不断重复,等到比较接近嫌疑犯的时候,改用普通警棍。(学习率下调)
如此反复,目击者挨了很多轮次的毒打后,描述会逐渐逼近嫌疑犯,同时画师的水准也在上升 解码器 A 和解码器 B 可以理解为画风不同的刑侦专家,能力不同。 刑侦专家 B,即不管画谁都像 B 的水平一般的刑侦专家。(或者诚心要害死 B ) 换脸过程:目击者提供 A 的描述,刑侦专家 B 画出了 B