解读Walrus:Sui官方亲下场,去中心化存储新方案

转载
94 天前
3051
Foresight News

文章转载来源: Foresight News

作者:Alex Liu,Foresight News

去中心化存储网络 Arweave 推出计算层 AO,成功造成了 AR 币价、生态与热度的回流,可谓打了一场翻身仗。而 Sui 作为通用计算链,推出去中心化存储网络 Walrus,又将掀起怎样的浪花呢?

背景介绍

团队

Solana 背后的开发公司叫 Solana Labs,Aptos 背后的开发公司叫 Aptos Labs,Sui 背后的开发公司叫 Mysten Labs(就是这么特立独行)。而 Mysten Labs 多数创始人和员工来自被 Facebook(现 Meta)解散的区块链项目 Diem。

Walrus 是被 Mysten Labs 归类为「协议、平台」的最新产品,是去中心化存储网络。Walrus 英文原意「海象」,在其官方网站上有「像海象一样茁壮」、「像海象一样适应力强大」的 Slogan,传达协议作为存储系统的可靠性以及可用性。

和 Sui 的联系

Walrus 基于 Sui 构建,并利用 Sui 来协调存储空间和元数据的销售。然而,使用 Walrus 并不需要在 Sui 上构建应用或产品,且全新的治理代币 WAL 将作为 Utility 代币,而不是 SUI。

竞品比较

去中心化存储协议通常分为两大类。第一类为完全复制的系统,赛道的主要竞品 Filecoin 和 Arweave 是这类系统的典型代表。这一类型的主要优点是存储节点上完整的文件可用性,使得即使某个存储节点下线,也能轻松访问和迁移文件。这种设置能带来无需许可的环境,因为存储节点不需要相互依赖来恢复文件。

这类系统的可靠性取决于所选存储节点的稳健性。在经典的三分之一静态对手( static adversary)模型和无限候选存储节点池的假设下,达到「十二个九」的安全性(即丢失文件访问的概率小于 10^-12)需要在网络上存储超过 25 个副本。这导致了 25 倍的存储开销。此外,还存在可能遭受女巫攻击的问题,恶意行为者可以假装存储文件的多个副本,削弱系统的完整性。

第二类去中心化存储服务使用 Reed-Solomon(RS)编码。RS 编码将文件分成较小的部分,称为切片,每个切片代表原始文件的一部分。只要切片总大小大于原始文件的大小,便可以解码出原始文件。RS 编码也有其缺点。编码和解码过程依赖于域操作、多项式评估和插值,这些计算开销很大。只有当域的大小和切片数量相对小时,这些操作才是实用的,从而限制了编码文件的大小以及参与存储节点的数量,否则编码的成本会变得非常高,限制了去中心化的程度。另一个问题是,当一个存储节点下线并需要被另一个节点替代时,与完全复制的系统不同,数据不能简单地从一个节点复制到另一个节点。RS 编码的系统要求所有现存存储节点将其切片发送给替代节点,然后替代节点恢复丢失的切片。但这一过程会导致 O(|blob|) 的数据在网络上传输。频繁的恢复操作会降低通过减少复制而获得的存储节约。

存储面临的挑战

无论使用何种复制协议,所有现有的去中心化存储系统还面临两个额外的挑战:

  • 需要持续的挑战(challenge)来确保存储节点保留了数据而没有丢弃。在提供存储付款的开放去中心化系统中,这是至关重要的,但目前这种做法限制了系统的可扩展性,因为每个文件都需要单独的挑战。
  • 存储节点需要协调:需要知道谁在系统中,哪些文件已支付存储费用,实施参与激励机制,并管理挑战以及缓解滥用的机制。这就是为什么上述系统中的每一个都实现了自定义区块链来执行交易,并在存储协议之外引入加密货币的原因。

核心创新

在这些挑战下,Walrus 有何创新,能为去中心化存储带来不同解法?

简单来说:

通过采用纠删编码创新技术,Walrus 能够快速且稳健地将非结构化数据块编码成较小的分片,这些分片会分布存储在一个存储节点网络中。即使多达三分之二的分片丢失,也可以使用部分分片快速重构原始数据块。这在保持复制因子仅为 4 倍至 5 倍的情况下成为可能,与现有的云服务相当,具有去中心化和更广泛故障弹性的优势。

具体来说:

Walrus 推出了 RedStuff,一种全新的 2D 编码算法,专为拜占庭容错(Byzantine Fault Tolerance)设计。RedStuff 基于喷泉码(fountain codes),结合了快速操作和高可靠性的优势。

RedStuff 通过简单的操作(主要是 XOR,异或操作)将数据编码为主切片和次切片。这些切片分布在存储节点中,每个节点持有独特的组合。对于不同维度的编码,RedStuff 使用不同的阈值。主维度采用 f+1 的恢复阈值,这允许异步写入,因为只需要 2f+1 的签名来证明数据块可用,这已经形成了 3 倍的复制因子。

次维度使用 2f+1 的恢复阈值,这一设计首次实现了异步存储证明,同时仅引入 1.5 倍的额外复制,最终总复制因子小于 5 倍。更重要的是,丢失的切片可以根据丢失数据量来恢复,从而节省带宽,这都要归功于 2D 编码。

RedStuff 的优势包括:相比于 RS 编码,使用简单的 XOR 操作使得编码 / 解码速度更快;由于存储开销低,系统能够扩展到数百个节点,并具备高弹性和容错能力,确保即使在拜占庭故障的情况下也能恢复数据。

作为一个无需许可的协议,Walrus 配备了高效的委员会重配置(committee reconfiguration)协议以应对存储节点自然流失,确保数据的持续可用性。当一个新委员会在两个纪元之间替换当前委员会时,重配置协议确保所有已超过可用性点(PoA)的数据块仍然可用。RedStuff 的 2D 编码使得状态迁移更加高效,即使部分节点不可用,其他节点也可以恢复丢失的切片。

节点 1 和节点 3 帮助节点 4 恢复切片数据

Walrus 引入了一个异步挑战协议,以验证节点是否正确存储数据。该协议允许高效的存储证明,确保数据可用性,而不依赖网络假设,其成本随着存储文件数量呈对数扩展。

Walrus 的经济模型基于质押,结合奖励和惩罚机制。创新的存储认证机制随着存储文件数量呈对数级扩展,降低了证明文件存储的成本。

总而言之,Walrus 以 RedStuff 协议为核心,提供了一个可扩展、弹性强且经济可行的去中心化存储解决方案,能够以合理的成本提供高真实性、完整性、可审计性和可用性。

而这一切得益于 Sui 作为 Walrus 的控制层。拥有一个可扩展、可编程和安全的基础设施作为协调层,使其能够专注于去中心化存储的核心问题。

潜在空投

Walrus 将推出独立的代币 WAL,Utility 有质押、治理等。怎样能获得 WAL 空投呢?参考 AO 的获取方式,持有 SUI 或许是其中的一种方式。

Walrus 预计即将推出测试网,主网上线时间待定。目前可前往官方文档查阅如何使用 Walrus 部署自己的网站。

 

资料来源:

Walrus 白皮书:

https://docs.walrus.site/walrus.pdf

Walrus:去中心化存储和 DA 协议,可以基于 Sui 构建 L2 和大型存储:https://foresightnews.pro/article/detail/63040

Mysten Labs 研究员 X 线程:

https://x.com/LefKok/status/1836868240666153293