Energy-Based Model: "不安定さ"に相当するEnergyを確率変数に割り当てるモデル.
エネルギーから確率を得たり、確率変数間のエネルギー比を計算したりして使う.
確率として扱う場合は確率密度関数をボルツマン分布とする.
ボルツマン分布はポテンシャル関数に指数、冪指数に -1 * エネルギーを用いた分布 (分母は状態和, volume)
確率をそのまま扱うと状態和の解析がハチャメチャになりがち (確率変数に対する演算の難しさ - たれぱんのびぼーろく).
確率密度比を取る時は状態和がキャンセルされるけど、それはポテンシャル比を取っているのと同義.
非負に変換する前の値がエネルギー.
このエネルギーを取りまわすモデルがEBM.
利用例
Classification & Decision-Making: argminclass Energy(sample, class)
matched classでエネルギーが小さくなるように学習. サンプルに対する全クラスのenergyを算出しclass推論
Ranking: sort classes based on Energy(sample, class)
ランキング指標とエネルギーが相関するように学習. Energyの小ささでソートしたらランキング推論.
確率モデルとの関係
Probabilistic learning is a special case of energy-based learning where the loss function is the negative log-likelihood, a.k.a. the maximum mutual information criterion.
LeCun2006
potential functionって呼び方
PRMLにあった. 正しい用法なのかわからん.
potential functions ψC(xC)
...
By considering only potential functions which satisfy ψC(xC) ≥0 we ensure that p(x) ≥ 0
...
ψC(xC) = exp {−E(xC)} (8.41)
where E(xC) is called an energy function,
PRML
