ネットワークはネットワーク

ネットワークの本質はネットワーク構造にある。
学習は別物。
同じネットワーク構造に異なる学習 (Backprop+optim vs non-BP手法) を行うことが可能。
そもそも推論だけしたい人には学習周りは不要.
PyTorchそのものがネットワーク構造の記述を強くサポートしてくれるので、それはお任せ