たれぱんのびぼーろく

わたしの備忘録、生物学とプログラミングが多いかも

2021-11-11から1日間の記事一覧

徹底解説!non-local operations / self-attention

Non-local Neural Networks (2018) モジュールのお気持ち 「私が欲しいものだけぜーんぶください」 FC: とにかく全要素を取りこむ Conv: 決め打ちで局所だけ取りこむ RNN: hiddent-1だけ直接取りこむ => 現在値に基づいて動的に、全長から欲しい要素だけ、取…