# 分散化ストレージの進化:概念から応用へストレージはかつてブロックチェーン業界の人気トラックの一つでした。Filecoinは前回のブルマーケットのリーダープロジェクトとして、時価総額は一時100億ドルを超えました。Arweaveは永久ストレージを売りにし、時価総額は最高で35億ドルに達しました。しかし、コールドデータストレージの限界が明らかになるにつれて、永久ストレージの必要性が疑問視され、分散化ストレージの未来にも疑問符が付けられています。Walrusの出現は、長らく静寂を保っていたストレージ領域に新たな活力をもたらしました。現在、AptosとJump Cryptoが協力してShelbyを発表し、分散化ストレージをホットデータ領域での突破口を推進することを目的としています。分散化ストレージは再び巻き返し、幅広い応用シーンを提供できるのでしょうか？それともまた別の概念の炒作に過ぎないのでしょうか？本稿では、Filecoin、Arweave、Walrus、Shelbyの4つのプロジェクトの発展の道筋を出発点とし、分散化ストレージの進化の過程を解析し、その未来の発展の展望について探求します。! [FilecoinとArweaveからWalrusとShelbyへ:分散型ストレージの人気からどれくらい離れていますか? ](https://img-cdn.gateio.im/social/moments-1ebd281e65dedbe6216b5e1496a2963e)## Filecoin:ストレージの名,マイニングの実Filecoinは最初に誕生した暗号通貨プロジェクトの一つであり、その発展方向は分散化を中心に展開されています。これは初期の暗号プロジェクトの共通の特徴であり、各伝統的な分野における分散化の意義を探求しています。Filecoinはストレージと分散化を結びつけ、中央集権的なデータストレージの信頼リスクを提起し、中央集権的なストレージから分散型ストレージへの移行を試みています。しかし、分散化を実現するために行われた特定の妥協は、後にArweaveやWalrusなどのプロジェクトが解決しようとする痛点となりました。Filecoinが実質的にマイニングコインプロジェクトである理由を理解するためには、その基盤技術であるIPFSがホットデータを処理する際の客観的な制約を理解する必要があります。### IPFS:分散化アーキテクチャの伝送ボトルネックIPFS(星際ファイルシステム)は2015年頃に登場し、コンテンツアドレッシングを通じて従来のHTTPプロトコルを代替することを目的としています。IPFSの最大の問題は取得速度が非常に遅いことです。従来のデータサービスがミリ秒単位の応答を実現できる時代において、IPFSがファイルを取得するのには十数秒かかるため、実際のアプリケーションでの普及が難しく、少数のブロックチェーンプロジェクトを除いて、伝統的な業界でほとんど採用されていない理由を説明しています。IPFSの基盤となるP2Pプロトコルは主に「コールドデータ」、つまりあまり変動しない静的コンテンツ（動画、画像、文書など）に適しています。しかし、動的なウェブページ、オンラインゲーム、AIアプリケーションなどのホットデータを扱う際には、P2Pプロトコルは従来のCDNと比べて明らかな利点はありません。IPFS自体はブロックチェーンではありませんが、その採用された有向非循環グラフ(DAG)の設計は、多くのパブリックチェーンやWeb3プロトコルと高度に適合しており、ブロックチェーンの基盤構築フレームワークとして生まれつき適しています。したがって、実用的な価値が欠如していても、ブロックチェーンの物語を支える基盤フレームワークとしては十分であり、初期の暗号プロジェクトは実行可能なフレームワークさえあれば大きなビジョンを開くことができました。しかし、Filecoinが一定の段階に達すると、IPFSがもたらす限界がそのさらなる発展を妨げ始めました。### ストレージの外衣の下のマイニングコインのロジックIPFSの設計の初衷は、ユーザーがデータを保存する際に、同時に保存ネットワークの一部になることです。しかし、経済的インセンティブが不足している状況では、ユーザーが自発的にこのシステムを利用することが難しく、活発なストレージノードになることはさらに難しいです。これは、ほとんどのユーザーがファイルをIPFSに保存するだけで、自分のストレージスペースを提供したり、他の人のファイルを保存したりしないことを意味します。まさにこのような背景の中で、Filecoinが登場しました。Filecoinのトークンエコノミーモデルには主に3つの役割があります: ユーザーはデータを保存するための料金を支払う責任があり; ストレージマイナーはユーザーのデータを保存することでトークン報酬を得ます; リトリーバーマイナーはユーザーが必要なときにデータを提供し、報酬を得ます。このモデルには潜在的な悪用の余地があります。ストレージマイナーはストレージスペースを提供した後、報酬を得るためにゴミデータを埋め込む可能性があります。これらのゴミデータは検索されないため、失われてもストレージマイナーの罰則メカニズムを引き起こすことはありません。これにより、ストレージマイナーはゴミデータを削除し、このプロセスを繰り返すことができます。Filecoinの複製証明コンセンサスはユーザーデータが勝手に削除されていないことを保証することしかできませんが、マイナーがゴミデータを埋め込むことを防ぐことはできません。Filecoinの運用は、端末ユーザーの分散化ストレージに対する真の需要に基づくのではなく、マイナーによるトークン経済への継続的な投入に大きく依存しています。プロジェクトはまだ進化し続けていますが、現段階ではFilecoinのエコシステム構築は"マイニングコイン論理"により適しており、"アプリケーション駆動"のストレージプロジェクトの位置付けとは異なります。## アーウィーブ:長期主義の成功か失敗かFilecoinがインセンティブを与え、証明可能な分散型「データクラウド」の殻を構築しようとするのに対し、Arweaveはストレージの別の方向に極端に進んでいます: データに永久的な保存能力を提供します。Arweaveは分散型計算プラットフォームを構築しようとはしておらず、その全システムは1つの核心的な仮定に基づいて展開されています - 重要なデータは一度だけ保存され、ネットワークに永遠に残るべきです。この極端な長期主義により、Arweaveはメカニズムからインセンティブモデル、ハードウェアの要求から物語の観点に至るまで、Filecoinとは大きく異なります。Arweaveはビットコインを学習対象とし、年単位の長期にわたって自身の永久保存ネットワークを最適化し続けようとしています。Arweaveはマーケティングに関心を持たず、競合他社や市場の動向も気にしません。ただネットワークアーキテクチャの反復を進めるだけで、誰も関心を持たなくても気にしないのです。なぜなら、これがArweave開発チームの本質だからです: 長期主義。長期主義のおかげで、Arweaveは前回のブルマーケットで熱烈に支持されました。そして、長期主義のために、たとえ底に落ちても、Arweaveは数回のブル・ベアを乗り越える可能性があります。ただ、未来の分散化ストレージにArweaveの居場所があるのか？永久保存の存在価値は時間によってのみ証明されるのです。Arweaveのメインネットは1.5バージョンから最近の2.9バージョンにかけて、市場の関心を失ったにもかかわらず、より広範囲のマイナーが最小限のコストでネットワークに参加できるよう努力し、マイナーがデータを最大限に保存することを奨励し、ネットワーク全体の強靭性を向上させてきました。Arweaveは自社が市場の好みに合わないことを十分に理解し、保守的なアプローチを取り、マイナーコミュニティを受け入れず、エコシステムは完全に停滞し、最小限のコストでメインネットをアップグレードし、ネットワークの安全性を損なうことなく、ハードウェアのハードルを継続的に引き下げています。### 1.5-2.9のアップグレードの道のりの振り返りArweave 1.5バージョンでは、マイナーが実際のストレージではなくGPUスタッキングに依存してブロック生成確率を最適化できる脆弱性が明らかになりました。この傾向を抑制するために、1.7バージョンではRandomXアルゴリズムが導入され、専門的な計算能力の使用が制限され、一般的なCPUがマイニングに参加することが求められ、計算力の分散化が強化されました。2.0バージョンでは、ArweaveはSPoAを採用し、データ証明をメルクルツリー構造の簡潔なパスに変換し、フォーマット2トランザクションを導入して同期の負担を軽減しました。このアーキテクチャはネットワーク帯域幅の圧力を緩和し、ノードの協調能力を大幅に向上させました。しかし、一部のマイナーは依然として集中化された高速ストレージプール戦略を通じて、実際のデータ保有責任を回避することができます。この偏りを是正するために、2.4ではSPoRAメカニズムを導入し、グローバルインデックスと遅いハッシュランダムアクセスを取り入れました。これにより、マイナーは有効なブロック生成に参加するためにデータブロックを実際に保有する必要があり、メカニズム的に計算能力のスタッキング効果を弱めました。その結果、マイナーはストレージアクセス速度に注目し、SSDや高速読み書きデバイスの利用が促進されました。2.6ではハッシュチェーンを導入してブロック生成のリズムを制御し、高性能デバイスの限界利益をバランスさせ、中小マイナーに公平な参加のスペースを提供しました。後続のバージョンは、ネットワーク協力能力とストレージの多様性をさらに強化します: 2.7では協力的なマイニングとマイニングプールのメカニズムが追加され、小規模マイナーの競争力が向上します; 2.8では大容量の低速デバイスが柔軟に参加できる複合パッケージメカニズムが導入されます; 2.9ではreplica_2_9フォーマットを使用して新しいパッケージプロセスが導入され、効率が大幅に向上し、計算依存が減少し、データ指向のマイニングモデルのクローズドループが完成します。全体として、Arweaveのアップグレードパスは、ストレージ指向の長期戦略を明確に示しています: 計算能力の集中傾向に抵抗し続ける一方で、参加のハードルを継続的に下げ、プロトコルの長期的な運用可能性を保証します。## Walrus:熱データストレージの新しい試みWalrusの設計思想はFilecoinやArweaveとはまったく異なります。Filecoinの出発点は、分散化された検証可能なストレージシステムを構築することですが、その代償は冷データストレージです; Arweaveの出発点は、永久にデータを保存できるオンチェーンのアレクサンドリア図書館を構築することですが、その代償は適用シーンが少なすぎることです; Walrusの出発点は、ストレージコストを最適化するためのホットデータストレージプロトコルです。### RedStuff:Magic Erasure Codeの革新と制限ストレージコスト設計の観点から、WalrusはFilecoinとArweaveのストレージコストが不合理であると考えています。後者の2つは完全な複製アーキテクチャを採用しており、その主な利点は各ノードが完全なコピーを保持しているため、強力なフォールトトレランスとノード間の独立性を備えていることです。この種のアーキテクチャは、部分的にノードがオフラインになってもネットワークがデータの可用性を維持できることを保証します。しかし、これはシステムがロバスト性を維持するために複数のコピーの冗長性を必要とし、ストレージコストを押し上げることを意味します。特にArweaveの設計では、コンセンサスメカニズム自体がノードの冗長ストレージを奨励し、データの安全性を強化しています。それに対して、Filecoinはコストコントロールにおいてより柔軟性がありますが、その代償として一部の低コストストレージにはより高いデータ損失リスクが伴う可能性があります。Walrusは両者の間でバランスを模索しており、そのメカニズムは複製コストを制御しつつ、構造化された冗長性によって可用性を高めることにより、データの可用性とコスト効率の間に新しい妥協点を確立しようとしています。Walrusが独自に創造したRedStuffはノードの冗長性を低減するための重要な技術であり、Reed-Solomon(RS)符号化に由来しています。RS符号化は非常に伝統的なエラー訂正符号アルゴリズムであり、エラー訂正符号は冗長なフラグメントを追加することによってデータセットを倍増させることを許可する技術であり、元のデータを再構築するために使用されます。CD-ROMから衛星通信、さらにはQRコードに至るまで、日常生活の中で頻繁に使用されています。誤り訂正符号は、ユーザーが1MBのブロックを取得し、それを2MBに「拡張」することを許可します。この追加の1MBは、誤り訂正符号と呼ばれる特別なデータです。ブロック内の任意のバイトが失われた場合、ユーザーはコードを使用してこれらのバイトを簡単に復元できます。最大1MBのブロックが失われても、全体のブロックを復元することができます。同じ技術により、コンピュータは損傷を受けたCD-ROMのすべてのデータを読み取ることができます。現在最も一般的なのはRS符号です。実装方法は、k個の情報ブロックから始めて、関連する多項式を構築し、異なるx座標で評価して符号化ブロックを得ることです。RS誤り訂正符号を使用すると、大量のデータが失われる可能性は非常に小さくなります。RedStuffの最大の特徴は何ですか？改良された誤り訂正符号化アルゴリズムにより、Walrusは非構造化データブロックを迅速かつ堅牢に小さなフラグメントにエンコードし、これらのフラグメントはストレージノードネットワークに分散して保存されます。最大で3分の2のフラグメントが失われても、一部のフラグメントを使用して元のデータブロックを迅速に再構築できます。これは、レプリケーションファクターが4倍から5倍に過ぎない場合でも可能になります。したがって、Walrusを分散化シーンに基づいて再設計された軽量な冗長性と回復プロトコルとして定義することは合理的です。従来のエラー訂正コード(であるReed-Solomon)に比べ、RedStuffは厳密な数学的一貫性を追求するのではなく、データ分布、ストレージ検証、および計算コストに現実的なトレードオフを行っています。このモデルは、集中型スケジューリングに必要な即時デコードメカニズムを放棄し、ブロックチェーン上のProofを通じてノードが特定のデータコピーを保持しているかどうかを検証することで、より動的で周辺化されたネットワーク構造に適応しています。RedStuffの設計の核心は、データを主スライスと副スライスの2つのカテゴリに分割することです: 主スライスは元のデータを復元するために使用され、その生成と配布は厳格に制約され、復元のしきい値はf+1であり、2f+1の署名が可用性の裏付けとして必要です; 副スライスは、XOR結合などの単純な演算方法を通じて生成され、弾力的なフォールトトレランスを提供し、全体のシステムの堅牢性を向上させる役割を果たします。この構造は本質的にデータの整合性に対する要求を低下させます - 異なるノードが短期間に異なるバージョンのデータを保存することを許可し、「最終的整合性」の実践的な道筋を強調します。Arweaveなどのシステムにおける回溯ブロックに対する緩やかな要求に似て、ネットワークの負担を軽減する一定の効果を達成しましたが、同時にデータの即時可用性と完全性の保障を弱体化させています。無視できないのは、RedStuff
分散化ストレージの進化の道: コールドデータからホットデータへのブレークスルー
分散化ストレージの進化:概念から応用へ
ストレージはかつてブロックチェーン業界の人気トラックの一つでした。Filecoinは前回のブルマーケットのリーダープロジェクトとして、時価総額は一時100億ドルを超えました。Arweaveは永久ストレージを売りにし、時価総額は最高で35億ドルに達しました。しかし、コールドデータストレージの限界が明らかになるにつれて、永久ストレージの必要性が疑問視され、分散化ストレージの未来にも疑問符が付けられています。
Walrusの出現は、長らく静寂を保っていたストレージ領域に新たな活力をもたらしました。現在、AptosとJump Cryptoが協力してShelbyを発表し、分散化ストレージをホットデータ領域での突破口を推進することを目的としています。分散化ストレージは再び巻き返し、幅広い応用シーンを提供できるのでしょうか？それともまた別の概念の炒作に過ぎないのでしょうか？本稿では、Filecoin、Arweave、Walrus、Shelbyの4つのプロジェクトの発展の道筋を出発点とし、分散化ストレージの進化の過程を解析し、その未来の発展の展望について探求します。
! FilecoinとArweaveからWalrusとShelbyへ:分散型ストレージの人気からどれくらい離れていますか?
Filecoin:ストレージの名,マイニングの実
Filecoinは最初に誕生した暗号通貨プロジェクトの一つであり、その発展方向は分散化を中心に展開されています。これは初期の暗号プロジェクトの共通の特徴であり、各伝統的な分野における分散化の意義を探求しています。Filecoinはストレージと分散化を結びつけ、中央集権的なデータストレージの信頼リスクを提起し、中央集権的なストレージから分散型ストレージへの移行を試みています。しかし、分散化を実現するために行われた特定の妥協は、後にArweaveやWalrusなどのプロジェクトが解決しようとする痛点となりました。Filecoinが実質的にマイニングコインプロジェクトである理由を理解するためには、その基盤技術であるIPFSがホットデータを処理する際の客観的な制約を理解する必要があります。
IPFS:分散化アーキテクチャの伝送ボトルネック
IPFS(星際ファイルシステム)は2015年頃に登場し、コンテンツアドレッシングを通じて従来のHTTPプロトコルを代替することを目的としています。IPFSの最大の問題は取得速度が非常に遅いことです。従来のデータサービスがミリ秒単位の応答を実現できる時代において、IPFSがファイルを取得するのには十数秒かかるため、実際のアプリケーションでの普及が難しく、少数のブロックチェーンプロジェクトを除いて、伝統的な業界でほとんど採用されていない理由を説明しています。
IPFSの基盤となるP2Pプロトコルは主に「コールドデータ」、つまりあまり変動しない静的コンテンツ（動画、画像、文書など）に適しています。しかし、動的なウェブページ、オンラインゲーム、AIアプリケーションなどのホットデータを扱う際には、P2Pプロトコルは従来のCDNと比べて明らかな利点はありません。
IPFS自体はブロックチェーンではありませんが、その採用された有向非循環グラフ(DAG)の設計は、多くのパブリックチェーンやWeb3プロトコルと高度に適合しており、ブロックチェーンの基盤構築フレームワークとして生まれつき適しています。したがって、実用的な価値が欠如していても、ブロックチェーンの物語を支える基盤フレームワークとしては十分であり、初期の暗号プロジェクトは実行可能なフレームワークさえあれば大きなビジョンを開くことができました。しかし、Filecoinが一定の段階に達すると、IPFSがもたらす限界がそのさらなる発展を妨げ始めました。
ストレージの外衣の下のマイニングコインのロジック
IPFSの設計の初衷は、ユーザーがデータを保存する際に、同時に保存ネットワークの一部になることです。しかし、経済的インセンティブが不足している状況では、ユーザーが自発的にこのシステムを利用することが難しく、活発なストレージノードになることはさらに難しいです。これは、ほとんどのユーザーがファイルをIPFSに保存するだけで、自分のストレージスペースを提供したり、他の人のファイルを保存したりしないことを意味します。まさにこのような背景の中で、Filecoinが登場しました。
Filecoinのトークンエコノミーモデルには主に3つの役割があります: ユーザーはデータを保存するための料金を支払う責任があり; ストレージマイナーはユーザーのデータを保存することでトークン報酬を得ます; リトリーバーマイナーはユーザーが必要なときにデータを提供し、報酬を得ます。
このモデルには潜在的な悪用の余地があります。ストレージマイナーはストレージスペースを提供した後、報酬を得るためにゴミデータを埋め込む可能性があります。これらのゴミデータは検索されないため、失われてもストレージマイナーの罰則メカニズムを引き起こすことはありません。これにより、ストレージマイナーはゴミデータを削除し、このプロセスを繰り返すことができます。Filecoinの複製証明コンセンサスはユーザーデータが勝手に削除されていないことを保証することしかできませんが、マイナーがゴミデータを埋め込むことを防ぐことはできません。
Filecoinの運用は、端末ユーザーの分散化ストレージに対する真の需要に基づくのではなく、マイナーによるトークン経済への継続的な投入に大きく依存しています。プロジェクトはまだ進化し続けていますが、現段階ではFilecoinのエコシステム構築は"マイニングコイン論理"により適しており、"アプリケーション駆動"のストレージプロジェクトの位置付けとは異なります。
アーウィーブ:長期主義の成功か失敗か
Filecoinがインセンティブを与え、証明可能な分散型「データクラウド」の殻を構築しようとするのに対し、Arweaveはストレージの別の方向に極端に進んでいます: データに永久的な保存能力を提供します。Arweaveは分散型計算プラットフォームを構築しようとはしておらず、その全システムは1つの核心的な仮定に基づいて展開されています - 重要なデータは一度だけ保存され、ネットワークに永遠に残るべきです。この極端な長期主義により、Arweaveはメカニズムからインセンティブモデル、ハードウェアの要求から物語の観点に至るまで、Filecoinとは大きく異なります。
Arweaveはビットコインを学習対象とし、年単位の長期にわたって自身の永久保存ネットワークを最適化し続けようとしています。Arweaveはマーケティングに関心を持たず、競合他社や市場の動向も気にしません。ただネットワークアーキテクチャの反復を進めるだけで、誰も関心を持たなくても気にしないのです。なぜなら、これがArweave開発チームの本質だからです: 長期主義。長期主義のおかげで、Arweaveは前回のブルマーケットで熱烈に支持されました。そして、長期主義のために、たとえ底に落ちても、Arweaveは数回のブル・ベアを乗り越える可能性があります。ただ、未来の分散化ストレージにArweaveの居場所があるのか？永久保存の存在価値は時間によってのみ証明されるのです。
Arweaveのメインネットは1.5バージョンから最近の2.9バージョンにかけて、市場の関心を失ったにもかかわらず、より広範囲のマイナーが最小限のコストでネットワークに参加できるよう努力し、マイナーがデータを最大限に保存することを奨励し、ネットワーク全体の強靭性を向上させてきました。Arweaveは自社が市場の好みに合わないことを十分に理解し、保守的なアプローチを取り、マイナーコミュニティを受け入れず、エコシステムは完全に停滞し、最小限のコストでメインネットをアップグレードし、ネットワークの安全性を損なうことなく、ハードウェアのハードルを継続的に引き下げています。
1.5-2.9のアップグレードの道のりの振り返り
Arweave 1.5バージョンでは、マイナーが実際のストレージではなくGPUスタッキングに依存してブロック生成確率を最適化できる脆弱性が明らかになりました。この傾向を抑制するために、1.7バージョンではRandomXアルゴリズムが導入され、専門的な計算能力の使用が制限され、一般的なCPUがマイニングに参加することが求められ、計算力の分散化が強化されました。
2.0バージョンでは、ArweaveはSPoAを採用し、データ証明をメルクルツリー構造の簡潔なパスに変換し、フォーマット2トランザクションを導入して同期の負担を軽減しました。このアーキテクチャはネットワーク帯域幅の圧力を緩和し、ノードの協調能力を大幅に向上させました。しかし、一部のマイナーは依然として集中化された高速ストレージプール戦略を通じて、実際のデータ保有責任を回避することができます。
この偏りを是正するために、2.4ではSPoRAメカニズムを導入し、グローバルインデックスと遅いハッシュランダムアクセスを取り入れました。これにより、マイナーは有効なブロック生成に参加するためにデータブロックを実際に保有する必要があり、メカニズム的に計算能力のスタッキング効果を弱めました。その結果、マイナーはストレージアクセス速度に注目し、SSDや高速読み書きデバイスの利用が促進されました。2.6ではハッシュチェーンを導入してブロック生成のリズムを制御し、高性能デバイスの限界利益をバランスさせ、中小マイナーに公平な参加のスペースを提供しました。
後続のバージョンは、ネットワーク協力能力とストレージの多様性をさらに強化します: 2.7では協力的なマイニングとマイニングプールのメカニズムが追加され、小規模マイナーの競争力が向上します; 2.8では大容量の低速デバイスが柔軟に参加できる複合パッケージメカニズムが導入されます; 2.9ではreplica_2_9フォーマットを使用して新しいパッケージプロセスが導入され、効率が大幅に向上し、計算依存が減少し、データ指向のマイニングモデルのクローズドループが完成します。
全体として、Arweaveのアップグレードパスは、ストレージ指向の長期戦略を明確に示しています: 計算能力の集中傾向に抵抗し続ける一方で、参加のハードルを継続的に下げ、プロトコルの長期的な運用可能性を保証します。
Walrus:熱データストレージの新しい試み
Walrusの設計思想はFilecoinやArweaveとはまったく異なります。Filecoinの出発点は、分散化された検証可能なストレージシステムを構築することですが、その代償は冷データストレージです; Arweaveの出発点は、永久にデータを保存できるオンチェーンのアレクサンドリア図書館を構築することですが、その代償は適用シーンが少なすぎることです; Walrusの出発点は、ストレージコストを最適化するためのホットデータストレージプロトコルです。
RedStuff:Magic Erasure Codeの革新と制限
ストレージコスト設計の観点から、WalrusはFilecoinとArweaveのストレージコストが不合理であると考えています。後者の2つは完全な複製アーキテクチャを採用しており、その主な利点は各ノードが完全なコピーを保持しているため、強力なフォールトトレランスとノード間の独立性を備えていることです。この種のアーキテクチャは、部分的にノードがオフラインになってもネットワークがデータの可用性を維持できることを保証します。しかし、これはシステムがロバスト性を維持するために複数のコピーの冗長性を必要とし、ストレージコストを押し上げることを意味します。特にArweaveの設計では、コンセンサスメカニズム自体がノードの冗長ストレージを奨励し、データの安全性を強化しています。それに対して、Filecoinはコストコントロールにおいてより柔軟性がありますが、その代償として一部の低コストストレージにはより高いデータ損失リスクが伴う可能性があります。Walrusは両者の間でバランスを模索しており、そのメカニズムは複製コストを制御しつつ、構造化された冗長性によって可用性を高めることにより、データの可用性とコスト効率の間に新しい妥協点を確立しようとしています。
Walrusが独自に創造したRedStuffはノードの冗長性を低減するための重要な技術であり、Reed-Solomon(RS)符号化に由来しています。RS符号化は非常に伝統的なエラー訂正符号アルゴリズムであり、エラー訂正符号は冗長なフラグメントを追加することによってデータセットを倍増させることを許可する技術であり、元のデータを再構築するために使用されます。CD-ROMから衛星通信、さらにはQRコードに至るまで、日常生活の中で頻繁に使用されています。
誤り訂正符号は、ユーザーが1MBのブロックを取得し、それを2MBに「拡張」することを許可します。この追加の1MBは、誤り訂正符号と呼ばれる特別なデータです。ブロック内の任意のバイトが失われた場合、ユーザーはコードを使用してこれらのバイトを簡単に復元できます。最大1MBのブロックが失われても、全体のブロックを復元することができます。同じ技術により、コンピュータは損傷を受けたCD-ROMのすべてのデータを読み取ることができます。
現在最も一般的なのはRS符号です。実装方法は、k個の情報ブロックから始めて、関連する多項式を構築し、異なるx座標で評価して符号化ブロックを得ることです。RS誤り訂正符号を使用すると、大量のデータが失われる可能性は非常に小さくなります。
RedStuffの最大の特徴は何ですか？改良された誤り訂正符号化アルゴリズムにより、Walrusは非構造化データブロックを迅速かつ堅牢に小さなフラグメントにエンコードし、これらのフラグメントはストレージノードネットワークに分散して保存されます。最大で3分の2のフラグメントが失われても、一部のフラグメントを使用して元のデータブロックを迅速に再構築できます。これは、レプリケーションファクターが4倍から5倍に過ぎない場合でも可能になります。
したがって、Walrusを分散化シーンに基づいて再設計された軽量な冗長性と回復プロトコルとして定義することは合理的です。従来のエラー訂正コード(であるReed-Solomon)に比べ、RedStuffは厳密な数学的一貫性を追求するのではなく、データ分布、ストレージ検証、および計算コストに現実的なトレードオフを行っています。このモデルは、集中型スケジューリングに必要な即時デコードメカニズムを放棄し、ブロックチェーン上のProofを通じてノードが特定のデータコピーを保持しているかどうかを検証することで、より動的で周辺化されたネットワーク構造に適応しています。
RedStuffの設計の核心は、データを主スライスと副スライスの2つのカテゴリに分割することです: 主スライスは元のデータを復元するために使用され、その生成と配布は厳格に制約され、復元のしきい値はf+1であり、2f+1の署名が可用性の裏付けとして必要です; 副スライスは、XOR結合などの単純な演算方法を通じて生成され、弾力的なフォールトトレランスを提供し、全体のシステムの堅牢性を向上させる役割を果たします。この構造は本質的にデータの整合性に対する要求を低下させます - 異なるノードが短期間に異なるバージョンのデータを保存することを許可し、「最終的整合性」の実践的な道筋を強調します。Arweaveなどのシステムにおける回溯ブロックに対する緩やかな要求に似て、ネットワークの負担を軽減する一定の効果を達成しましたが、同時にデータの即時可用性と完全性の保障を弱体化させています。
無視できないのは、RedStuff