2020-12-11

fsspecのZipFileSystem速度

素のファイルアクセスと比較して50%くらいのオーバーヘッドあり
ただし最適化の余地あり

計測環境

Google Colab

処理

PyTorch.Tensorのload & processing

PyTorch.Tensorをファイルに事前保存.
load→ Tensor*2.0を数十ファイルに対して処理、これを1000ループ.

結果

展開済みファイル: 113 sec
zipFS経由: 183 sec

解析

zipFSは中でPythonのZipFileを使ってる
直接呼び出すとオーバーヘッドは10%以下、関数呼び出し分くらいになる.
zipFS内のパース周り関数がオーバーヘッドになってる (消して検証済み)

実務環境下

深層学習用データセットに適用 (Scyclone-PyTotch).
オーバーヘッドは約10% (2.7 iter/s vs 3.0 iter/s)
zipFSの最適化をすれば実務上無視できる範囲に入れること出来そう.

2020-12-07

Energy-Based Model

AI 科学

Energy-Based Model: "不安定さ"に相当するEnergyを確率変数に割り当てるモデル.

エネルギーから確率を得たり、確率変数間のエネルギー比を計算したりして使う.
確率として扱う場合は確率密度関数をボルツマン分布とする.
ボルツマン分布はポテンシャル関数に指数、冪指数に -1 * エネルギーを用いた分布 (分母は状態和, volume)

確率をそのまま扱うと状態和の解析がハチャメチャになりがち (確率変数に対する演算の難しさ - たれぱんのびぼーろく).
確率密度比を取る時は状態和がキャンセルされるけど、それはポテンシャル比を取っているのと同義.
非負に変換する前の値がエネルギー.
このエネルギーを取りまわすモデルがEBM.

利用例

Classification & Decision-Making: argmin_class Energy(sample, class)
matched classでエネルギーが小さくなるように学習. サンプルに対する全クラスのenergyを算出しclass推論

Ranking: sort classes based on Energy(sample, class)
ランキング指標とエネルギーが相関するように学習. Energyの小ささでソートしたらランキング推論.

確率モデルとの関係

Probabilistic learning is a special case of energy-based learning where the loss function is the negative log-likelihood, a.k.a. the maximum mutual information criterion.
LeCun2006

potential functionって呼び方

PRMLにあった. 正しい用法なのかわからん.

potential functions ψ_C(x_C)
...
By considering only potential functions which satisfy ψ_C(x_C) ≥0 we ensure that p(x) ≥ 0
...
ψ_C(x_C) = exp {−E(x_C)} (8.41)
where E(x_C) is called an energy function,
PRML

refs

LeCun, et al.. (2006). A Tutorial on Energy-Based Learning

2020-12-06

VQ-VAE audio (Oord, 2017)

Audio

4.3節がaudio. official samples

Architecture

Encoder

[Conv1d (k4, s2)] x6¹
情報量: ±16msecのhalf-overlap

Decoder

DilatedConv, similar to WaveNet

dilated convolutional architecture similar to WaveNet decoder

The decoder is conditioned on both the latents and a one-hot embedding for the speaker

Results

Because the dimensionality of the discrete representation is 64 times smaller, the original sample cannot be perfectly reconstructed sample by sample.

the reconstruction has the same content (same text contents), but the waveform is quite different and prosody in the voice is altered.

This experiment confirms our observations from before that important features are often those that span many dimensions in the input data space (in this case phoneme and other high-level content in waveform).

16 kHz to	latent	dataset	reconst.	VC	phoneme match
250 Hz (x64)	1 x 512 x time	VCTK	☑	-	-
125 Hz (x128)	1 x 128 x time	Librispeech	☑	-	-
? Hz (x?)	?	?	-	☑	-
25 Hz (x640)	1 x 128 x time		☑	-	49.3%

VC: change speaker ID

the decoder using a separate speaker id.

“We train a VQ-VAE where the encoder has 6 strided convolutions with stride 2 and window-size 4. This yields a latent space 64x smaller than the original waveform. The latents consist of one feature map and the discrete space is 512-dimensional.” ↩

2020-12-05

確率変数に対する演算の難しさ

given
  x ~ p(x)
  y = f(x)
  E(•): Expectation
then
  E(y) = sum(p(x) * y)

xが有限で少数の場合、計算してΣすればいい
xが有限で多数の場合、計算量が凄いことになる
xが無限個の場合、計算してΣは出せない
xが連続の場合、∮の解析解を出しうる (一般には成立しない)

xが有限個でもxの次元が増えると計算量は倍々で増える
同時確率を全部数え上げるので組み合わせ爆発が起きてる

2020-11-30

経営が行き詰まるパターン/失敗集

レバレッジの逆流による窒息
政商と規制緩和
going concernを忘れ長期的な破滅

レバレッジ

いろんな形のレバレッジがあるのが罠

土地を担保に土地を買って担保にする

「商売するための用地買ったった。次の店建てるためにこの土地を担保に入れて次の土地買ったろ！」

バブル期で致命傷喰らうパターンにありがち (スーパー、百貨店)
要するにN階建てレバレッジしてる.
全国で地価が下がると評価損がレバレッジ効かせて出るので死ぬ.

土地の上で商売してるのでそう簡単に土地を手放せないのも厳しい.
追証を求められ、ただでさえ苦しいキャッシュフローが持ってかれ、本業の体質改善をする余力を失い、デカい負債を抱えながら生き絶える. 悲しい.

破茶滅茶な出店ラッシュの裏にあったりもする。
多少の地価上昇があるなら、無限に箱を用意できるから.

そごうは店舗の新設にあたって、必ず土地を取得し、土地の値上がりを前提として出店を進める戦略を採用することで、百貨店ビジネスの低収益を、土地の含み益によってカバーすることで、資金調達元の銀行からの信頼を得ていた。... 1990年代を通じてバブルが崩壊し、土地価格が下落すると、そごうの「土地の値上がりを前提とした大量出店」という戦略が破綻し...
そごうの歴史 - The社史