たれぱんのびぼーろく

わたしの備忘録、生物学とプログラミングが多いかも

NeRFの問題設定: queryとvalue

query-Model-value-Consumer-outcome/teacher の教師あり学習

NeRFでは

  • query: 視線
  • model: MLP
  • value: 座標RGBA
  • consumer: 微分可能ボリュームレンダラ
  • outcome: 2Dカラー画像

になってる。
学習時はoutcomeからbackpropしてmodel weightを更新。

Continuous and Learnable database、みたいな捉え方が自然だと思ってる。
だからqueryとvalue

生成モデルとの違いは、まず決定的であること。
そしてvalueが点であること。
conditioningから出力全体を生成するイメージの生成モデルに対し、NeRF系はあくまでqueryに対するvalue
全部集めれば1つの画像が作れるけど、モデルのニュアンスは随分違う。