まとめ
- 分散
- ストリーム
- 処理
- 配送
のめんどくさいところを担ってくれるライブラリ
ストリーム処理
ストリーム処理の概念はとてもシンプル。
流れ込むデータを分岐させ変形し出力する。
処理リソースの関係でback pressure とかバッファがでてくる.
さらに分散システム全体でのストリーム処理がでてくる.
ネットワークまたぎ、冗長性、負荷分散etcetc...
Fluentd/bitは、後者の実務的に重要で複雑な、だけど処理そのものとは違う部分を担当してくれる。
差別化要素ではないけど重要かつheavy load、的な部分。
だから深く考えないで使うこともできて、それでいて安定感があると評判.
踏み込むと分散ストリームそのものの難しさが出てくるので、理解するのにも一手間かかる。抽象化してくれていてありがとう。
#
output
- aggregation (event => chunk)
- buffer (queue of chunks)
- retry
I/O
- networking
- load balancing
- networking