Improved Baselines with Momentum Contrastive Learning 链接到标题

* Authors: [[Xinlei Chen]], [[Haoqi Fan]], [[Ross Girshick]], [[Kaiming He]]

  • MoCo v1: [[@he2020]]
  • MoCo v3: [[@chen2021a]]

初读印象 链接到标题

MoCo v2: 论文只有两页，主要是将 SimCLR 的提点方法 1) projection head 2) 更强的数据增广 比如 blur augmentation 融入 MoCo v1，使得在更小的 batch size 下获得优于 SimCLR 的性能。

image.png

projection head 链接到标题

使用2层 MLP 替代 MoCo v1 encoder 的 fc（只影响 unsupervised 训练阶段，linear classification 和 transferring 阶段不使用），同时比较了不同温度系数下的结果，如下所示：

image.png

可以看到使用 MLP 带来了 2 个以上的点的涨幅。但是如表1所示， 在检测任务上 MLP 带来的涨点明显少于分类。也可以说 VOC 检测性能和 ImageNet 分类性能没有直接联系。

Augmentation 链接到标题

如表1 (b) 所示，直接应用 SimCLR 的强色彩扰动作用有限， 只添加 blur augmentation 就能使点从 60.6 增加到 63.4