たれぱんのびぼーろく

わたしの備忘録、生物学とプログラミングが多いかも

2020-01-01から1年間の記事一覧

Docker =>fluentd/fluentBit/fireLens

Docker logging driverの出力 output: structured log1 { container_id: "id", container_name: "name", source: "stdout" | "stderr", log: "containerLog", } FireLens fluentd/bitの出力 firelensで firelensConfiguration.options.enable-ecs-log-metada…

FPS/APEX戦術論

投げ物のダメージ量 敵の密集度に比例する. 3人が固まってたら威力3倍 狭所 必要視野角

上手い2つのシステム論

標準化 オーダーメイド 上手く回るシステム A: 標準化 良い手順 (プロセス) を開発して明示し、実行主体に依存しないシステムとする ソフトウェアで実行してもよし、正社員で実行してもよし、バイトで実行してもよし。 実行主体のリソース限界からくる制限を…

Scyclone VC

CycleGAN + linear spectrogram + WareRNN Vocoder => similarity MOS 4.5, naturalness MOS 3後半 [わかる人向け記事] Overview Masaya Tanaka, Takashi Nose, Aoi Kanagaki, Ryohei Shimizu, and Akira Ito (2020) Scyclone: High-Quality and Parallel-Da…

システム運用実装@2020

システム運用は多岐に渡る。その実装例@2020. 運用のsteps システム運用@wikipedia 実装 障害対応 監視 ロギング: fluentd/fluentBit stdout in_forward 障害検知: fluentd/fluentBit filter 集約: slack 通知: slack notification 復旧 自動修復: ECS task …

AWS FireLens (ECS logging sidecar)

実装: Fluentd/bitの自動設定挿入 officials GitHub - Amazon ECS FireLens: Under the Hood AWS - Under the hood: FireLens for Amazon ECS Tasks

Fluentd/bitの立ち位置

まとめ 分散 ストリーム 処理 配送 のめんどくさいところを担ってくれるライブラリ ストリーム処理 ストリーム処理の概念はとてもシンプル。 流れ込むデータを分岐させ変形し出力する。 処理リソースの関係でback pressure とかバッファがでてくる. さらに分…

2020年におけるIPに依存したセキュリティ

問題点 仮想環境前提 => IPがコロコロ変わる. クラウド全般、コンテナ全盛期、並列サーバーのDNSによる集約 (リバースプロキシならプロキシIPは比較的安定) 解決方法 古典的なネットワーク制御ではなくAuthZ role-baseとかパスワードは本質的にbearer token …

“事後に「ああすべきだった」と揶揄する”表現リスト

あとから孔明の先見の明 後知恵 インターネット後出し軍師様 床屋総理 居酒屋監督 monday morning quarterbacking 振り返らないと成長がないのも事実。 現実と理想の比較は大概比較にならないのも事実. 後知恵バイアス - Wikipedia

コンテナと安全なクレデンシャル(パスワード)

シチュエーションごとに違う ビルドそのものにクレデンシャルが必要な場合 ビルド時に、パスワードが必要な外部サービスから何かを取ってくる場合. 取ってきた何かは公開していいんだけど、取ってくるためのパスワードは残るとまずい、という場合. docker bu…

Node.jsプロセスの終了とそのハンドル

'exit' process.exit()による明示的なプロセス終了、あるいはイベントループの処理終了によって発生するイベント. 'exit'発生後はイベントループを止められないので非同期処理は不可能. 'rejectionHandled' 'uncaughtException' 'uncaughtExceptionMonitor' …

docker-compose

Use Compose in production This first rebuilds the image for web and then stop, destroy, and recreate just the web service. The --no-deps flag prevents Compose from also recreating any services which web depends on. Overview of Docker Compo…

Graceful shutdown

Node.js nodeはプロセスとして振る舞う。なのでPOSIX standard signalsに応答する. nodeのprocessはEventEmitterを継承するglobalオブジェクトなので、ここからsignalハンドラを設定する. // Ctl+Cをハンドラが捕まえるせいで強制終了不可(Winで検証済み) …

TypeScript Project運用環境

managed ↑ lambda ElasticBeanstalk/nodejs ElasticBeanstalk/dockerSingle EC2/docker ElasticBeanstalk/dockerMulti ECS/Fargate EKS/Fargate EC2/bareMetal ↓ bareMetal

Gitブランチモデル選定

欲しいもの次第 オープンソース/closedソース 未リリースのコードがoff flagで公開されていたらまずいか deployableじゃないと色々困る v1 release non-releaseable commit merged バグ発見 hotfix branch merge hotfix into master ...cannot release becau…

素晴らしいアイデアと枯れていない技術

素晴らしいアイデアからくる利益と、枯れていない技術/実装からくるダウンサイドリスクのつり合いが永遠のテーマ. case by case. postd.cc 最終ゴールとそこまでの道のりは別のもの。 最終ゴールを洞察できても、今からそこまで、の道のりをすべて見通すのは…

価格変動率の振る舞い

価格変動率は対数正規分布に従う. よってdrΔVの期待値は正 (V 2/1と1/2は同確率だが、変動量は+1と-0.5) でも連続投資したときの期待値は1になる

権利売買の形式と特徴

財産権 (株式) 利用権 会員権 権利は対象が飛んだら無価値になる。それはそう。 財産権なら、財産をふっ飛ばした会社の株は紙屑. 利用権なら、利用価値が吹っ飛んだ施設の利用券は紙屑. 会員権なら、会員のメリットが吹っ飛んた会員証は紙屑. 実例1. 会員権 …

批評の位置づけ

現状の把握. 現状を把握し続けると作品ができあがる、なんてことはない. 批評と創作は別物. ただ別物なだけ. 創作は現状に基づいておこなうこともできる. その場合、批評を介して現状把握をすることがうまく作用する.

達成不可能な目標

無謬を要求すると誤りを隠すようになるって,世界中のあらゆる場面で観測される行動なのだけれど(近年の日本だと,いじめの件数が悪い評価対象でないと明示された途端に報告件数増えたとか。)。 https://t.co/9KB4Eg3LEn— 弁護士 野田隼人 (@nodahayato) 2…

行動/DOの種類

する 予定整理 考える 運動

GitHub webhooks

GitHub Developer - Webhooks repo for latest specification official webhook handle utility library GitHub Actions workflow/event.jsonにworkflowをトリガーしたwebhookのpayloadがある. (GITHUB_EVENT_PATH環境変数にこのpathが保存されている) Virtu…