FP16へ autocast されるCUDA Ops: Conv系 Conv系 conv1d conv2d conv3d ConvT系 conv_transpose1d conv_transpose2d conv_transpose3d RNN系 RNNCell LSTMCell GRUCell Linear系 linear matmul __matmul__ chain_matmul baddbmm addbmm addmm addmv addr bmm…

キャストとデータ転送を担う関数。 device で転送先デバイス、dtype で変換型を指定。既存Tensorを渡してそのdeviceとdtypeを参照させることも可能。 オプションは3つ: non_blocking: 非同期のデータ転送 copy: キャスト/転送が実現済みが否かに関わらず新規…

PyTorch Lightning: Class device unit internal SimpleProfiler L's action PyTorchProfiler PyTorch’s Autograd Profiler AdvancedProfiler XLAProfiler TPU (PassThroughProfiler) any (default) Just pass-through, do nothing SimpleProfilerとDataLoad…

出力 (output) でなく成果 (outcome) に拘る姿勢。 これを取るなら、出力が成果に繋がっていることが必須条件。 これを確かめるのが「評価」の段階。 だから評価方法とタイミングを事前にしっかりと構想しておくことは必須。 これをしていないということは成…