本文要介绍的 mean teachers 是一种半监督学习的

本文要介绍的 mean teachers 是一种半监督学习的方法，主要的目标是改进前文提到的 temporal ensembling 方法。在 temporal ensembling 中每次 epoch 的 \(z_i\) 是从以前所有 \(z_i\) 的加权平均来计算的，这个方法的问题是当资料的数量很多时，系统无法将所有过去的 \(z_i\) 记录下来。mean teachers 改进的思路是：与其加权平均过去的 feature embedding，不如加权平均过去的模型参数，也就是下图中的 teacher model。

以上为一些关于此方法的笔记：