Amazon ECS仕様早見表

AWS プログラミング

ECSは色々抽象化してくれているが、いざ不具合にであうと内部が見えなくて困る事が多い（抽象化とは）. なので詳細仕様の早見表をつくった. Amazon Linux 2 based 対象: Amazon ECS-optimized Amazon Linux 2 AMI Amazon ECS-optimized Amazon Linux 2 (arm6…

2021-01-23

Docker storage size

プログラミング

コンテナに割り当てるストレージの大きさストレージドライバの種類によって大きく異なる。 overlay2 driver 標準的な環境でのデフォルトドライバ。 /var/lib/docker/overlay2/配下にimageとコンテナ（read-only layerとr/w layer）が置かれてmergedがファイ…

2021-01-21

デバッグ方法: AWS BatchがRunnableで止まってインスタンスが立ち上がらない

AWS

A: Auto Scalingのログを確認せよ. Runnableでジョブが停止、でもenvやqueueは正常、なのにenvのインスタンスが全く立ち上がらないというケース. Auto scalingに失敗しているので、そのログ（Activity）を確認するよろし. console URL (regionは適宜変更): h…

2021-01-18

外部スクリプトを実行する、という枠組み

プログラミング

ブラウザ & JavaScript C++ブラウザ / JSエンジン/ JSスクリプト JSは（エンジンが提供する）サンドボックス内で動く。サンドボックス外へのアクセス用に色々インターフェイスが生やされてるのでそれを使う (e.g. DOM API). ブラウザ & WASM C++ブラウザ / …

2021-01-11

UGCメディアの法則

第一原理: クリエイター out > in => 寿命クリエイターはどこへいっても作れる存在. 不満が溜まれば無言で消えて、他所でまた作り始める言葉数が少ないのは、作ることの意味を良く知っているから. 時間と共にクリエイターは移ろって/outしていく. 新規クリ…

2021-01-07

Gitとブランチモデルとオープンソースと

プログラミング

オープンソースの特徴: ある意味で自分のコントロールが全く効かない. PR reviewで取りこみの可否や修正は可能. でも、gitの、logは、制御できない、、、 feature branchをmainへ取りこむflowの場合、gitのログがそのままレポジトリにやってくる. gitの粒度…

2021-01-06

streamimg IO latency

前提: RTF < 1 sr = n (step/sec) # AR: i sec/forward (step) 前提より i < 1/n streaming_io_latency_ar = forward = i i (<1/n) NAR: j sec/forward (batch) b step/batch => n/b batch/sec 前提より j < b/n NARはbufferingと切り捨てが可能. このとき 0…

2021-01-06

PyTorchラッパーとCheckpointing

AI python プログラミング

※CoI: PyTorch-Lightning のcontributor (Checkpointing周り) です比較 wrapper checkpoint local/remote resume/nullable Catalyst ☑ ☑ / □ ☑ / ? Lightning ☑ ☑ / ☑ ☑ / ☑ Ignite ☑ ☑ / △ ☑ / ? △: no direct support, but implementable (handler argume…