たれぱんのびぼーろく

わたしの備忘録、生物学とプログラミングが多いかも

アップロードしたファイルの破損

ネットワークを介してファイルをアップロードする.
この時、ファイルは破損しうるのではないか?
バックアップのためにアップロードしたのに、壊れてたら何の意味もない!
これを防ぐ(破損に備える)ための仕組み色々ある

MD5

ハッシュ値によるチェック.
MD5はハッシュ生成アルゴリズムの一種.
可変長のデータから128bit固定長のハッシュ値を作り出す.
暗号に使われるほど安全ではないみたい.
MD5 - Wikipedia

 CRC

巡回冗長検査 - Wikipedia

AWS S3

Amazon S3 は、Content-MD5 チェックサムと周期的冗長検査(CRC)を組み合わせて使用し、データの破損を検出しています。Amazon S3 は、休止中のデータにこれらのチェックサムを実行し、冗長データを用いて損傷の修復を行います。さらに当サービスは、ネットワークの全トラフィックに対してチェックサムを計算し、データの格納または取得時のデータパケットの損傷を検出しています。
aws.amazon.com