去中心化存储的演进:从概念到应用

存储曾是区块链行业的热门赛道之一。Filecoin作为上一轮牛市的龙头项目,市值一度超过100亿美元。Arweave以永久存储为卖点,最高市值达35亿美元。然而,随着冷数据存储的局限性被揭示,永久存储的必要性受到质疑,去中心化存储的前景也被打上了问号。

Walrus的出现为沉寂已久的存储赛道带来了新的活力。而今Aptos与Jump Crypto合作推出Shelby,意在推动去中心化存储在热数据领域取得突破。去中心化存储能否卷土重来,提供广泛应用场景?还是又一轮概念炒作?本文将从Filecoin、Arweave、Walrus和Shelby四个项目的发展路线出发,解析去中心化存储的演进历程,探讨其未来发展前景。

Filecoin:存储之名,挖矿之实

Filecoin是最早崛起的加密货币项目之一,其发展方向围绕去中心化展开。这是早期加密项目的共同特征 - th各个传统领域中探索去中心化的意义。Filecoin将存储与去中心化结合,提出了中心化数据存储的信任风险,试图将中心化存储转向去中心化存储。然而,为实现去中心化而做出的某些妥协,恰恰成为了后来Arweave或Walrus等项目试图解决的痛点。要理解为何Filecoin实质上是一个矿币项目,需要了解其底层技术IPFS在处理热数据方面的客观限制。

IPFS:去中心化架构的传输瓶颈

IPFS(星际文件系统)于2015年左右问世,旨在通过内容寻址替代传统HTTP协议。IPFS最大的问题是获取速度极慢。在传统数据服务可实现毫秒级响应的时代,IPFS获取一个文件仍需十几秒,这使其难以在实际应用中推广,也解释了为何除少数区块链项目外,它很少被传统行业采用。

IPFS底层的P2P协议主要适用于"冷数据",即不常变动的静态内容如视频、图片和文档。然而,在处理热数据方面,如动态网页、在线游戏或AI应用,P2P协议相较传统CDN并无明显优势。

尽管IPFS本身并非区块链,但其采用的有向无环图(DAG)设计与许多公链及Web3协议高度契合,使其天生适合作为区块链的底层构建框架。因此即使缺乏实用价值,作为承载区块链叙事的底层框架已经足够,早期的加密项目只需一个可运行的框架就能开启远大愿景。但当Filecoin发展到一定阶段时,IPFS带来的局限性开始阻碍其进一步发展。

存储外衣下的矿币逻辑

IPFS的设计初衷是让用户在存储数据的同时,也成为存储网络的一部分。然而,在缺乏经济激励的情况下,用户很难自愿使用这套系统,更不用说成为活跃的存储节点。这意味着,大多数用户只会将文件存储在IPFS上,却不会贡献自己的存储空间,也不会存储他人的文件。正是在这样的背景下,Filecoin应运而生。

Filecoin的代币经济模型中主要有三个角色:用户负责支付费用以存储数据;存储矿工因存储用户数据而获得代币奖励;检索矿工则在用户需要时提供数据并获取奖励。

这种模型存在潜在的作恶空间。存储矿工可能在提供存储空间后,填充垃圾数据以获取奖励。由于这些垃圾数据不会被检索,即便丢失,也不会触发存储矿工的惩罚机制。这使得存储矿工可以删除垃圾数据并重复此过程。Filecoin的复制证明共识只能确保用户数据未被私自删除,却无法阻止矿工填充垃圾数据。

Filecoin的运行在很大程度上依赖矿工对代币经济的持续投入,而非基于终端用户对分布式存储的真实需求。尽管项目仍在不断迭代,但目前阶段,Filecoin的生态构建更符合"矿币逻辑"而非"应用驱动"的存储项目定位。

Arweave:长期主义的成败

相较于Filecoin试图构建一个可激励、可证明的去中心化"数据云"外壳,Arweave则在存储的另一个方向走向极端:为数据提供永久性存储能力。Arweave并不试图构建一个分布式计算平台,其整个系统围绕一个核心假设展开 - 重要的数据应该被一次性存储,并永远留存于网络中。这种极端的长期主义,使得Arweave从机制到激励模型、从硬件需求到叙事角度都与Filecoin大相径庭。

Arweave以比特币为学习对象,试图在以年计的长周期里不断优化自身的永久存储网络。Arweave不关注市场营销,也不在意竞争对手和市场的发展趋势。它只是在迭代网络架构的路上不断前行,即使无人问津也不在意,因为这就是Arweave开发团队的本质:长期主义。得益于长期主义,Arweave在上个牛市受到热烈追捧;也因为长期主义,即使跌入谷底,Arweave还可能撑过几轮牛熊。只是未来的去中心化存储有没有Arweave的一席之地?永久存储的存在价值只能通过时间来证明。

Arweave主网从1.5版本到最近的2.9版本,尽管已经失去市场关注,但一直致力于让更广范围的矿工以最小成本参与网络,并激励矿工最大限度地存储数据,不断提升整个网络的健壮性。Arweave深知自身不符合市场偏好,采取了保守路线,不拥抱矿工团体,生态完全停滞,以最小成本升级主网,在不损害网络安全的前提下,不断降低硬件门槛。

1.5-2.9的升级之路回顾

Arweave 1.5版本暴露出矿工可依赖GPU堆叠而非真实存储来优化出块几率的漏洞。为遏制这一趋势,1.7版本引入RandomX算法,限制使用专业化算力,转而要求通用CPU参与挖矿,从而削弱算力中心化。

在2.0版本,Arweave采用SPoA,将数据证明转为默克尔树结构的简洁路径,并引入格式2交易减少同步负担。这一架构缓解了网络带宽压力,使节点协同能力显著增强。然而,部分矿工仍可通过集中式高速存储池策略回避真实数据持有责任。

为纠正该偏向,2.4推出SPoRA机制,引入全局索引与慢哈希随机访问,使矿工必须真实持有数据块以参与有效出块,从机制上削弱算力堆叠效果。其结果是,矿工开始关注存储访问速度,带动SSD与高速读写设备应用。2.6引入哈希链控制出块节奏,平衡了高性能设备的边际效益,为中小矿工提供公平参与空间。

后续版本进一步强化网络协作能力与存储多样性:2.7增加协作式挖矿与矿池机制,提升小矿工竞争力;2.8推出复合打包机制,允许大容量低速设备灵活参与;2.9则以replica_2_9格式引入新型打包流程,大幅提升效率并降低计算依赖,完成数据导向挖矿模型的闭环。

整体来看,Arweave升级路径清晰呈现其以存储为导向的长期策略:在不断抵抗算力集中趋势的同时,持续降低参与门槛,保证协议长期运行的可能性。

Walrus:热数据存储的新尝试

Walrus的设计思路与Filecoin和Arweave完全不同。Filecoin的出发点是打造一套去中心化可验证的存储系统,代价是冷数据存储;Arweave的出发点是打造一个可以永久存储数据的链上亚历山大图书馆,代价是应用场景太少;Walrus的出发点则是优化存储开销的热数据存储协议。

RedStuff:魔改纠删码的创新与局限

在存储成本设计方面,Walrus认为Filecoin与Arweave的存储开销是不合理的。后两者均采用完全复制架构,其主要优势在于每个节点都持有完整副本,具备较强的容错能力与节点间的独立性。这类架构能保障即使部分节点离线,网络仍具备数据可用性。然而,这也意味着系统需要多副本冗余以维持鲁棒性,进而推高存储成本。尤其在Arweave的设计中,共识机制本身即鼓励节点冗余存储,以增强数据安全性。相较之下,Filecoin在成本控制上更具弹性,但代价是部分低成本存储可能存在更高的数据丢失风险。Walrus试图在两者之间寻找平衡,其机制在控制复制成本的同时,通过结构化冗余方式增强可用性,从而在数据可得性与成本效率之间建立新的折中路径。

Walrus自创的RedStuff是降低节点冗余的关键技术,它源于Reed-Solomon(RS)编码。RS编码是一种非常传统的纠删码算法,纠删码是一种允许通过添加冗余片段将数据集加倍的技术,可用于重建原始数据。从CD-ROM到卫星通信再到二维码,它在日常生活中被频繁使用。

纠删码允许用户获取一个块,例如1MB大,然后将其"放大"到2MB大,其中额外的1MB是称为纠删码的特殊数据。如果块中的任何字节丢失,用户可以通过代码轻松恢复这些字节。即使多达1MB的块丢失,您也可以恢复整个块。相同的技术可以让计算机读取CD-ROM中的所有数据,即使它已受损。

目前最常用的是RS编码。实现方式是,从k个信息块开始,构造相关的多项式,并在不同的x坐标处对其进行评估,以获得编码块。使用RS纠删码,随机采样丢失大块数据的可能性非常小。

RedStuff的最大特点是什么?通过改进纠删编码算法,Walrus能够快速且稳健地将非结构化数据块编码成较小的分片,这些分片会分布存储在一个存储节点网络中。即使多达三分之二的分片丢失,也可以使用部分分片快速重构原始数据块。这在保持复制因子仅为4倍至5倍的情况下成为可能。

因此,将Walrus定义为一个围绕去中心化场景重新设计的轻量级冗余与恢复协议是合理的。相较传统纠删码(如Reed-Solomon),RedStuff不再追求严格的数学一致性,而是针对数据分布、存储验证和计算成本进行了现实主义的权衡。这种模式放弃了集中式调度所需的即时解码机制,改为通过链上Proof验证节点是否存有特定数据副本,从而适应更动态、边缘化的网络结构。

RedStuff的设计核心,是将数据拆分为主切片和次切片两类:主切片用于恢复原始数据,其生成和分布受严格约束,恢复门槛为f+1,且需2f+1的签名作为可用性背书;次切片则通过异或组合等简单运算方式生成,作用是提供弹性容错,提升整体系统鲁棒性。这种结构本质上降低了对数据一致性的要求 - 允许不同节点短时存储不同版本数据,强调"最终一致性"的实践路径。虽然与Arweave等系统中对回溯块的宽松要求相似,在降低网络负担方面取得了一定效果,但同时也弱化了数据即时可用性与完整性保障。

不可忽视的是,RedStuff