まとめ: 要素の本質的な影響よりハイパラの影響が大きいため、要素入れ替えによる影響評価には向かない（不可能ではない。向かないだけ）。
要素入れ替え評価
特定コンポーネントの価値を評価する手法として、そのコンポーネント以外を固定にしてそのコンポーネントのみ入れ替えて性能を評価・比較するやり方がある。
ニューラルなコンポーネントの特性: ハイパラがすこぶる強い
ニューラルネットワークのコンポーネントには大体ハイパーパラメータが存在し、その影響がやたらでかい。
学習がそもそも上手くいかない数値があったり、突然不安定化する範囲があったり、ネットワーク全体と強い相互作用があったりと、やたらと予測不可能な振る舞いをする。
ニューラルなコンポーネントの入れ替え評価
結果として、ニューラルネットワークのコンポーネント入れ替えによる性能比較をすると、何を比較しているのかわからなくなる。
単にコンポーネントを差し替えても、コンポーネントの本質的な性能変化とハイパーパラメータ変化が同時に起こり、2つの影響がentangleして性能に出てくる。
「こっちのコンポーネントで改善しました！」と言っても、良いハイパーパラメータを引いただけかもしれない。
ハイパラの多さから、数条件試した程度ではハイパラのブレを取り除けない。
どうすればいいのか
budget式、すなわち何十条件が試行可能な予算を用意してその分ハイパラサーチを行い平均値をもって比較する、という方式。
ちょこちょこGoogleやFacebookが富豪的に比較論文を出している。
お分かりの通り、富豪じゃないとできない。なので要素比較は可能だが、とても向いていない。
