VICReg: 自己教師あり学習における崩壊回避の明示的設計

VICReg: 自己教師あり学習における崩壊回避の明示的設計 本稿では、自己教師あり学習における重要な課題である 表現崩壊 を、 明示的に防ぐ 手法として VICReg を取り上げる。近年の画像表現学習では、同一画像から得た異なるビューをそれぞれエンコーダに入力し、得られた埋め込み表現が一致するよう学習を行う方法が一般的である。一方で、この枠組みでは、エンコーダが定数ベクトルのような情報を持たない表現ばかりを出力してしまう 崩壊 を防ぐことが大きな課題となる。 VICReg (Variance-Invariance-Covariance Regularization) は、この問題に...