統計: 確率
機械学習: 手続き
統計 p(x|θ)
機械学習 f(x;θ) & θ ⇦ g(f, X, θ)
統計的機械学習はfがpと関係してるモデル.
確率論に基づいた学習理論が使える (e.g. MLE)
学習ではなく確率モデル汎化誤差の振る舞いに注目する統計学の分野や、確率関係なくヒューリスティックな学習手続きを極める機械学習もある。
機械学習に数理最適化 (argmaxθ f(θ)) が用いられることもしばしばあるけど、lossの最小化やその保証を無視してただ規則的更新を行う機械学習もありうる.
最適解が最高の汎化性能、という保証もないし.
