生成モデルと"温度"パラメータ: レアなサンプルはぽいっ

生成モデルにはしばしば temperature パラメータが設定される.
こいつが何で、何をして、どう便利なのかを解説する.

tempered softmax

1. Dahl, et al. (2017). Pixel Recursive Super Resolution.
2. Parmar, et al. (2018). Image Transformer.

"truncation trick"
分布平均から一定以上離れたらNGということでサンプリングし直し.
事実上の分布カットオフ.
BigGANで有名に.

• M Marchesi. (2017). Megapixel Size Image Creation using Generative Adversarial Networks.
  • uniform distributionの範囲を限定.
• A Brock, et al. (2018). Large Scale GAN Training for High Fidelity Natural Image Synthesis.
  • 範囲外をサンプリングし直し.
  • truncated normal (where values which fall outside a range are resampled to fall inside that range)