たれぱんのびぼーろく

わたしの備忘録、生物学とプログラミングが多いかも

Fluentd/bitの立ち位置

まとめ

  • 分散
  • ストリーム
  • 処理
  • 配送

のめんどくさいところを担ってくれるライブラリ

ストリーム処理

ストリーム処理の概念はとてもシンプル。
流れ込むデータを分岐させ変形し出力する。

処理リソースの関係でback pressure とかバッファがでてくる.
さらに分散システム全体でのストリーム処理がでてくる.
ネットワークまたぎ、冗長性、負荷分散etcetc...

Fluentd/bitは、後者の実務的に重要で複雑な、だけど処理そのものとは違う部分を担当してくれる。
差別化要素ではないけど重要かつheavy load、的な部分。

だから深く考えないで使うこともできて、それでいて安定感があると評判.
踏み込むと分散ストリームそのものの難しさが出てくるので、理解するのにも一手間かかる。抽象化してくれていてありがとう。

#

  • output

    • aggregation (event => chunk)
    • buffer (queue of chunks)
    • retry
  • I/O

    • networking
      • load balancing