PredictionとReconstruction
- prediction: 対応する特徴量無しに対象の観測値を推定すること
- reconstruction: 対応する特徴量から対象の観測値を生成すること
Predictionの場合、contextを基に観測値を推定する.
イメージとしては、1枚だけ裏返しで他が全部表の神経衰弱
Reconstructionは特徴量/潜在表現があって、それをfullの観測値へと変換する.
イメージとしては、「ハートのＫ」という文字列表現をカード画像へと再構成する.
データを欠損させて欠損推定をするか、データを圧縮して再構成するかなので、どっちもUnsupervisedに学習できる.
Predictionの例
Masked Language Model (e.g. BERT)
"'masked language model' (MLM) pre-training objective, inspired by the Cloze task (Taylor, 1953)."
BERT paper. arxiv 1810.04805
超解像度とか画像生成の文脈でマスク画像からのフル画像再構成が出てくるけど、あれは多分にPredictionをしている.
Word2Vec
prediction target: neighbor words
