深入探讨Filecoin上的数据可用性
编者按:本文转载自 Fenbushi Capital 的 Turan Vural Yuki Yuminaga 于 2024 年 4 月 5 日发布的原始内容。Fenbushi Capital 成立于 2015 年,是亚洲领先的区块链资产管理公司,资产管理规模达 16 亿美元。该公司旨在通过研究和投资在塑造各行各业区块链技术的未来方面发挥重要作用。本文就是这些努力的一个例子,代表了这些作者的独立观点,他们已同意在此发表。
数据可用性 (DA) 是以太坊扩展的一项核心技术,它允许节点高效地验证数据是否可用于网络,而无需托管相关数据。这对于高效构建滚动和其他形式的纵向扩展至关重要,允许执行节点确保交易数据在结算期间可用。这对于分片和其他形式的横向扩展(以太坊网络未来的计划更新)也至关重要,因为节点需要证明存储在网络分片中的交易数据(或 blob)确实可用于网络。
最近讨论并发布了几种 DA 解决方案(例如 Celestia、 EigenDA、Avail),其目的都是为应用程序发布 DA 提供高性能和安全的基础设施。
与以太坊等 L1 相比,外部 DA 解决方案的优势在于它为链上数据提供了一种价格低廉且性能卓越的载体。DA 解决方案通常由自己的公链组成,这些公链旨在实现低价且无需许可的存储。即使经过修改,从区块链本地托管数据仍然极其低效。
鉴于此,我们发现,探索存储优化解决方案(如 Filecoin)作为 DA 层的基础是非常直观的。Filecoin 使用其区块链来协调用户和存储提供者之间的存储交易,但允许数据存储在链下。
在这篇文章中,我们研究了构建在去中心化存储网络 (DSN) 之上的 DA 解决方案的可行性。我们特别考虑了 Filecoin ,因为它是迄今为止采用最多的 DSN。我们概述了此类解决方案将带来的机遇以及构建该解决方案需要克服的挑战。
DA 层为依赖它的服务提供以下功能:
1.用户安全:任何节点都不能确信不可用的数据是可用的。
2.全球安全:除少数节点外,所有节点都同意数据的可用/不可用。
3.高效的数据检索能力。
所有这些都需要高效完成才能实现扩展。DA 层在上述三点上以更低的成本提供更高的性能。例如,任何节点都可以请求数据的完整副本来证明托管,但这是低效的。通过提供上述三点的系统,我们实现了一个 DA 层,该层可提供L2与L1协调所需的安全性,并且在存在恶意多数的情况下提供更强的下限。
数据托管
发布到 DA 解决方案的数据具有有效的生命周期:足够长的时间来解决争议或验证状态转换。交易数据只需要足够长的可用时间来验证正确的状态转换,或者给验证者足够的机会来构建欺诈证明。截至撰写本文时,以太坊 calldata 是需要数据可用性项目(rollups)最常用的解决方案。
高效数据验证
数据可用性采样 (DAS) 是解决 DA 问题的标准方法。它具有额外的安全优势,增强了网络 Actor 从其同行验证状态信息的能力。但是,它依赖于节点来执行采样:必须响应 DAS 请求来确保开采交易不会被拒绝,但节点请求样本并没有正面或负面激励。从请求样本节点的角度来看,不执行 DAS 不会受到负面惩罚。例如,Celestia 提供了第一个也是唯一一个执行 DAS 的轻用户端实现,为用户提供了更强大的安全假设,并降低了数据验证成本。
高效访问
DA 需要为使用它的项目提供高效的数据访问。速度慢的 DA 可能会成为依赖其服务的瓶颈,轻则导致效率低下,重则导致系统错误。
去中心化存储网络
去中心化存储网络(DSN,如 Filecoin 白皮书中所述)是一个由存储提供者组成的无需许可的网络,为网络用户提供存储服务。非正式地讲,它允许独立存储提供者与需要存储服务的用户协调存储交易,并为寻求低价存储服务的用户提供低价且有弹性的数据存储。这是通过记录存储交易并支持智能合约执行的区块链进行协调的。
DSN 方案是三个协议的元组:Put、Get 和 Manage。此元组具有容错保证和参与激励等属性。
Put(数据) → 键
为将数据存储在唯一密钥下,用户端执行 Put。这是通过指定数据在网络上存储的期限、为实现冗余而存储的数据副本数量以及与存储提供者协商的价格来实现的。
Get(密钥)→数据
用户端执行 Get 来检索存储在密钥下的数据。
Manage
网络参与者调用管理协议来协调提供者提供的存储空间和服务以及修复错误。对于 Filecoin 而言,这是通过区块链进行管理的。该区块链记录用户和数据提供者之间的数据交易以及正确存储数据的证明,从而确保数据交易得到维护。通过发布数据提供者为响应网络挑战而生成的证明来证明数据是否正确存储。当存储提供者未能按照管理协议的要求及时生成复制证明或时空证明时,就会发生存储错误,这会导致存储提供者的权益被削减。如果多个提供者在网络上托管数据副本,则交易可以通过寻找新存储提供者来履行存储交易,从而完成自我修复。
DSN 机会
迄今为止,DA 项目所做的工作一直是将区块链转变为热存储平台。由于 DSN 对存储进行了优化,因此与其将区块链转化为存储平台,我们可以简单地将存储平台转化为提供数据可用性的平台。存储提供者以原生 FIL 代币形式提供的抵押品可以提供加密经济安全性,从而保证数据存储。最后,存储交易的可编程性可以为数据可用性条款提供灵活性。
将 DSN 功能转化为解决 DA 问题的最有力动机是降低 DA 解决方案下的数据存储成本。如下所述,在 Filecoin 上存储数据的成本比在以太坊上存储数据便宜得多。考虑到当前的以太币/美元价格,将 1 GB 的 calldata 写入以太坊需要花费超过 300 万美元,而且还要在 21 天后进行剪切。这笔 calldata 费用可能占到基于以太坊的汇总交易成本的一半以上。然而, Filecoin 上 1 GB 的存储成本每月不到 0.0002 美元。以该价格或任何类似的价格确保 DA 将降低用户的交易成本,并有助于提高Web3的性能和可扩展性。
经济安全
在 Filecoin 中,提供存储空间需要抵押品。若提供者未能履行交易或不遵守网络保证时,抵押品就会被削减。未能提供服务的存储提供者将面临失去抵押品和其所赚取的任何利润的风险。
激励机制调整
Filecoin 协议的许多激励措施与 DA 目标一致。Filecoin 为恶意或懒惰行为提供了抑制措施:在共识期间,存储提供者必须以复制证明和时空证明的形式主动提供存储证明,在没有诚实大多数(honest majority)假设的情况下不断证明存储存在。若存储提供者未能提供证明,就会被削减权益、从共识中移除,还会受到其他处罚。当前的 DA 解决方案缺乏对节点执行 DAS 的激励,只能依靠临时利他行为来证明 DA。
可编程性
定制数据交易能力也使 DSN 成为一个有吸引力的 DA 平台。数据交易可以有不同的持续时间,从而使基于 DSN 的 DA 用户只需支付其所需的 DA 费用,还可以通过设置要在整个网络中存储的副本数量来调整容错能力。进一步定制通过 Filecoin 上的智能合约(Actors)支持,这些合约在 FEVM 上执行。也促使 Filecoin 的 DApps 生态日益壮大,从 Bacalhau 等计算优先存储解决方案到 Glif 等 DeFi 和流动性质押解决方案。Retriev 通过 Filecoin Actors 提供具有许可裁判的激励挂钩检索。Filecoin 的可编程性可用于定制不同解决方案所需的 DA 要求,以便依赖 DA 的平台无需为超出其需要的 DA 付费。
基于 DSN 的 DA 架构所面临的挑战
在我们的调查中,我们发现了在 DSN 上构建 DA 服务之前需要克服的重大挑战。现在我们讨论的是实施可行性,我们将把 Filecoin 作为讨论重点。
证明延迟
Filecoin 上交易和存储数据完整性的加密证明需要时间来证明。当数据提交至网络时,它会被划分为 32 GB 扇区并“封装”。数据封装是复制证明 (PoRep) 和时空证明 (PoST) 的基础,前者证明存储提供者存储了一个或多个唯一数据副本,后者证明存储提供者在整个存储交易期间持续存储了一个唯一副本。封装的计算成本必须很高,这样才能确保存储提供者不会按需封装数据,从而破坏所需的 PoReP。当协议定期向存储提供者要求提供唯一和连续存储的证明时,封装所需的安全时间必须长于响应窗口,这样存储提供者就无法临时伪造证明或副本。因此,提供者可能需要大约三小时来封装一个数据扇区。
存储阈值
由于封装操作的计算费用较高,因此封装数据的扇区大小必须具有经济价值。对于存储提供者而言,存储价格必须证明其封装成本合理,同样,由此产生的数据存储成本也必须足够低(在本例中,大约 32 GB 的数据块),用户才愿意在 Filecoin 上存储数据。虽然可以封装较小扇区,但这会推高存储价格以补偿存储提供者。为解决该问题,数据聚合器从用户处收集较小的数据块,作为接近 32 GB 的数据块提交给 Filecoin 。数据聚合器通过数据段包含证明(PoDSI)和子块 CID(pCID)对用户数据进行承诺,数据段包含证明(PoDSI)保证了用户数据包含在扇区中,子块 CID(pCID)则是用户从网络中检索数据时使用的。
共识约束
Filecoin 的共识机制“预期共识”(Expected Consensus)的区块时间为 30 秒,最终确定时间为数小时,这可能在不久的将来会有所改善(有关 Filecoin 的快速最终确定性请参阅 FIP-0086)。这通常太慢,无法支持依赖 DA 处理交易数据的 Layer 2 所需的交易吞吐量。Filecoin 的区块时间受存储提供者硬件下限的限制。区块时间越短,存储提供者生成和提供存储证明的难度就越大,并且存储提供者因错过正确存储数据的证明窗口而受到的错误惩罚就越多。为克服这一难题,可以利用星际共识 (IPC) 子网来缩短共识时间。IPC 使用类似于 Tendermint 的共识和 DRAND 实现随机性:在 DRAND 成为瓶颈的情况下,我们将能够使用 IPC 子网实现 3 秒的区块时间;在 Tendermint 出现瓶颈的情况下,Narwhal 等 PoC 实现了数百毫秒内的区块时间。
检索速度
最后一个障碍是检索。从上述限制条件中,我们可以推断 Filecoin 适合冷存储或温存储。然而,DA 数据是热的,需要支持高性能的应用程序。在 Filecoin 中,激励挂钩检索很困难;数据在提供给用户端之前需要解封,这会增加延迟。目前,快速检索是通过 SLA 或将未封装数据与封装扇区一起存储来实现的,而在 Filecoin 上的安全且无需许可的应用程序架构中,这两种方法都不可靠。特别是 Retriev 证明可以通过 FVM 保证检索, Filecoin 上进行激励挂钩的快速检索仍是一个有待进一步探索的领域。
成本分析
在本节中,我们将考虑这些设计因素带来的成本。我们展示了将 32 GB 存储为以太坊 calldata、Celestia blobdata、 EigenDA blobdata 以及 Filecoin 上扇区的成本(使用接近当前的市场价格)。
分析强调了以太坊 calldata 的价格: 32 GB 数据的价格为 1 亿美元。这个价格展示了以太坊共识背后的安全成本,并受到以太坊和 Gas 价格波动的影响。Dencun 升级引入了 Proto- Danksharding (EIP-4844),引入了 Blob 交易,目标是每个区块 3 个 Blob,每个大小约为 125 KB,并引入了可变 Gas Blob 定价,从而保持每个区块的 Blob 目标数量。此次升级将以太坊 DA 的成本降低了 1/5 :即 32 GB blob 数据花费 2000 万美元。
Celestia 和 EigenDA 有了显著改进: 32 GB 数据分别需要 8, 000 美元和 26, 000 美元。两者都受到市场价格波动的影响,并在一定程度上反映了共识数据安全的成本:Celestia 使用其原生 TIA 代币,而 EigenDA 使用 Ether。
在上述所有情况下,存储的数据都不是永久性的。以太坊 calldata 的存储时间为 3 周,blob 的存储时间为 18 天,EigenDA 存储 blob 的默认期限为 14 天。在当前的 Celestia 实施中,存档节点无限期地存储 blob 数据,但光节点最多只能采样 30 天。
最后两张表是 Filecoin 和当前 DA 解决方案之间的直接比较。成本等价首先列出给定平台上单个字节数据的成本,然后显示相同成本下在相同时间内可存储的 Filecoin 字节数量。
这表明 Filecoin 比当前的 DA 解决方案便宜几个数量级,在相同时间内存储相同数量的数据只需花费几分之一美分。与以太坊节点和其他 DA 解决方案的节点不同,Filecoin 节点经过优化,可以提供存储服务,其证明系统允许节点证明存储,而不是在网络中的每个节点之间复制存储。在不考虑存储提供者经济效益(如封装数据的能源成本)的情况下,Filecoin 存储过程的基本开销可以忽略不计。与以太坊相比,这表明可以在 Filecoin 上提供安全且高性能 DA 服务的系统具有高达每 GB 数百万美元的市场机会。
吞吐量
下面,我们将考虑 DA 解决方案的容量以及主要 Layer 2 rollups 产生的需求。
由于 Filecoin 区块链以 tipsets 的形式组织,每个区块高度都有多个区块,因此可以进行的交易数量不受共识或区块大小的限制。Filecoin 的严格数据约束是其网络范围的存储容量,而不是通过共识允许的容量。
对于每日 DA 需求,我们从 Terry Chung 和 Wei Dai 提供的 Rollups DA 和 Execution 中获取数据,其中包括 30 天内的每日平均值和单个采样日的数据。这样,我们就可以考虑平均需求,也不会忽略平均值的偏差(例如,Optimism 在 2023 年 8 月 15 日的需求量约为 261, 000, 000 字节,是其 30 天平均值 64, 000, 000 字节的四倍多)。
从该选择中可以看出,尽管 DA 成本有机会降低,但需要大幅增加 DA 需求才能有效利用 Filecoin 的 32 GB 扇区大小。虽然用少于 32 GB 的数据封装 32 GB 扇区会浪费资源,但我们可以这样做,同时还能获得成本优势。
架构
在本节中,我们将考虑如果我们要今天构建它可以实现的技术架构。我们将在任意 L2 应用程序和 L2 所服务的 L1 链的背景下考虑此架构。由于该解决方案是外部 DA 解决方案,就像 Celestia 和 EigenDA 一样,因此我们不将 Filecoin 视为示例 L1。
组件
即使在高层次上, Filecoin 上的 DA 也会利用 Filecoin 生态的许多不同功能。
交易:下游用户在需要 DA 的平台上进行交易,这可能是L2。
使用 DA 的平台:这些平台使用 DA 作为服务,这可以是将交易数据发布至 Filecoin DA 的L2,也可以是对L1(如以太坊)的承诺。
Layer 1 :这是包含指向 DA 解决方案数据承诺的任何L1。这可能是以太坊,支持使用 Filecoin DA 解决方案的 L2 。
聚合器:基于 Filecoin 的 DA 解决方案前端是一个聚合器,它是一个集中组件,用于接收来自L2和其他 DA 用户端的交易数据,并将它们聚合成适合封装的 32 GB 扇区。尽管简单的概念验证将包括集中式聚合器,但使用 DA 解决方案的平台也可以运行自己的聚合器。例如作为L2排序器的辅助设备,聚合器的集中化与L2排序器或 EigenDA 的分散器类似。一旦聚合器编译出接近 32 GB 的有效载荷,它就会与存储提供者达成存储协议来存储数据。向用户保证其数据将以 PoDSI(数据段包含证明)的形式包含在该扇区中,并在数据进入网络后使用 pCID 来识别其数据。该 pCID 将包含在 L1 上的状态承诺中,用于参考支持交易的数据。
验证者:验证者向存储提供者请求数据以确保状态承诺的完整性并建立欺诈证明,在存在可证明欺诈的情况下,这些证明将提交给L1。
存储交易:一旦聚合器编译出接近 32 GB 的有效载荷,聚合器就会与存储提供者达成存储交易来存储数据。
发布 blob (Put):为启动 Put,DA 用户端会将包含交易数据的 blob 提交给聚合器。这可以通过链下方式完成,也可以通过链上聚合预言机以链上方式完成。为确认收到 blob,聚合器会向用户端返回 PoDSI ,从而证明其 blob 包含在将提交给子网的聚合扇区中,同时还会返回 pCID (子片段内容标识符)。一旦 blob 在 Filecoin 上提供,用户端和其他相关方将使用它来引用 blob。
数据交易将在交易达成后几分钟内出现在链上。延迟的最大障碍是封装时间,可能需要三个小时。这意味着,尽管交易已经完成,并且用户可以确信数据将出现在网络中,但在封装过程完成之前,无法确保数据可查询。Lotus 用户端具有快速检索功能,其中未封装的数据副本与封装副本一起存储,只要检索交易不依赖于封装数据出现在网络上的证明,就可以在未封装数据传输至数据存储提供者后立即提供服务。但是,此功能由数据提供者自行决定,并且不是作为协议的一部分提供加密保证。若要提供快速检索保证,就需要改变共识和惩罚/激励机制来强制执行。
检索 blob (Get):检索类似于 put 操作。需要进行检索交易,交易将在几分钟内出现在链上。检索延迟将取决于交易条款以及是否存储未封装的数据副本以供快速检索。在快速检索的情况下,延迟将取决于网络条件。若没有快速检索,数据在提供给用户端之前需要解封,这与封装所需时间相同,大约为三小时。因此,如果不进行优化,我们的最大往返时间为六小时,在这成为一个可行的 DA 或欺诈证明系统之前,需要对数据服务进行重大改进。
DA 证明:DA 证明可以分为两个步骤:通过在交易过程中将数据提交给聚合器时提供的 PoDSI,然后通过 Filecoin 共识机制提供的 PoRep 和 PoST 的持续承诺。如上所述,PoRep 和 PoST 为数据保管和持久性提供了有计划且可证明的保证。
该解决方案将大量使用桥接,因为任何依赖 DA 的用户端(无论是否构建证明)都需要能够与 Filecoin 进行交互。对于发布到L1的状态转换中包含的 pCID ,验证者可以进行初步检查,从而确保没有提交虚假的 pCID 。有几种方法可以做到这一点,例如,通过在 L1 上发布 Filecoin 数据的 Oracle 或通过验证器来验证是否存在与 pCID 相对应的数据交易或扇区。同样,对发布至L1的有效性或欺诈证明的验证可能也需要使用桥接器,从而确信证明的有效性或欺诈性。当前可用的桥接器是 Axelar 和 Celer 。
安全分析
Filecoin 的完整性是通过削减抵押品来实现的。在两种情况下可以削减抵押品:存储错误或共识错误。存储错误是指存储提供者无法提供存储数据的证明(PoRep 或 PoST),这与我们模型中缺乏数据的可用性相关。共识错误是指共识中的恶意行为,共识是管理交易分类账的协议,而 FEVM 则是从交易分类账中抽象出来的。
扇区错误是指因未能发布连续存储证明而产生的处罚。存储提供者有一天的宽限期,在此期间不会因存储错误而受到处罚。在扇区出现错误的 42 天后,该扇区将被终止。所产生的费用被销毁。
BR(t) = ProjectedRewardFraction(t) * SectorQualityAdjustedPower
如果某个扇区出现错误已达 42 天或存储提供者故意终止交易,则将发生扇区终止。终止费相当于扇区在终止前获得的最高金额,上限为 90 天的收入。未支付的交易费将退还给用户。已发生的费用将被销毁。
max(SP(t), BR(StartEpoch, 20 d) + BR(StartEpoch, 1 d) * terminationRewardFactor * min(SectorAgeInDays, 140))
在交易终止时,会出现存储市场 Actor 削减,这是对存储提供者在交易后提供抵押品的削减。
Filecoin 提供的安全性与其他区块链的安全性截然不同。区块链数据通常通过共识来确保安全,而 Filecoin 共识仅确保交易分类账的安全,而非交易引用数据的安全。存储在 Filecoin 上的数据只有具有足够的安全性,才能激励存储提供者提供存储。这意味着存储在 Filecoin 上的数据通过错误惩罚和商业激励(例如用户声誉)来确保安全。换句话说,区块链上的数据错误相当于违反共识,会破坏区块链的安全性或其交易有效性的概念。Filecoin 在数据存储方面具有容错能力,因此仅使用共识来确保其交易账簿和交易相关活动的安全。存储提供者未能履行其数据交易的代价是最多价值 90 天的存储奖励罚款,及其为确保交易而提供的抵押品将损失。
因此,从 Filecoin 提供者处发起的数据扣留攻击成本,仅仅是检索交易的机会成本。Filecoin 上的数据检索依赖于用户支付的费用来激励存储提供者。然而,不响应数据检索请求不会对存储提供者产生负面影响。为了降低单个存储提供者忽略或拒绝数据检索交易的风险,Filecoin 上的数据可以由多个存储提供者存储。
由于 Filecoin 数据背后的经济安全性远低于基于区块链的解决方案,因此还必须考虑防止数据操纵。数据操纵通过 Filecoin 证明系统受到保护。数据通过 CID 引用,通过 CID 可以立即检测到数据损坏。因此,数据提供者无法提供损坏的数据,因为很容易验证获取的数据是否与请求的 CID 匹配。数据提供者不能将损坏数据存储在未损坏数据的位置上。收到用户数据后,提供者必须提供正确封装数据扇区的证明才能启动数据交易(选中此项)。因此,不能用损坏的数据启动存储交易。在存储交易的有效期内,会提供 PoST 来证明托管清空(请注意,这既能证明封装数据扇区的托管情况,也能证明自上次 PoST 以来的托管情况)。由于 PoST 依赖于生成证明时的封装扇区,因此损坏的扇区会导致伪造的 PoST,从而导致扇区错误。因此,存储提供者既不能存储也不能提供损坏的数据,不能因为为未损坏的数据提供服务而获得奖励,也不能避免因篡改用户数据而受到惩罚。
可以通过增加存储提供者向存储市场 Actor 承诺的抵押品来增强安全性,抵押品目前由存储提供者和用户决定。如果我们假设这个抵押品金额足够高(例如与以太坊验证者的抵押品相同),足以激励提供者不违约,那么我们就能想到还有什么需要确保安全(尽管这样做资本效率极低,因为需要该抵押品来确保每个交易 blob 或聚合 blob 扇区的安全)。现在,数据提供者可以选择在存储市场 Actor 终止存储交易之前,在最长 41 天的时间内让数据不可用。假设数据交易时间较短,我们可以假设数据在交易的最后一天之前不可用。在没有恶意行为者协调的情况下,可以通过在多个存储提供者上进行复制来缓解这种情况,以便可以继续提供数据服务。
我们可以考虑攻击者推翻共识的成本,要么接受虚假证明,要么改写分类账历史,从订单簿中删除交易,而不会惩罚负责任的存储提供者。然而,值得注意的是,在这种安全违规的情况下,攻击者可以随心所欲地操纵 Filecoin 的分类账。攻击者若要实施此类攻击,至少需要拥有 Filecoin 链的多数权益。权益与提供给网络的存储有关,目前 Filecoin 链的数据量为 25 EiB(10 ¹⁶字节),恶意行为者至少需要 12.5 EiB 才能提供自己的链来赢得分叉选择规则。通过与共识错误相关的削减,可以进一步减轻这种情况,其惩罚是失去所有质押的抵押品和区块奖励,并暂停参与共识。
题外话:阻止对其他 DA 解决方案的攻击
尽管上述情况表明 Filecoin 在保护数据免受扣留攻击方面存在不足,但它并不是唯一的例子。
以太坊:一般来说,保证对以太坊网络请求得到答复的唯一方法是运行完整节点。因此,完整节点不需要满足共识之外的数据检索请求。PeerDAS 等结构为节点对数据检索的响应引入了对等评分系统,其中得分足够低(本质上是 DA 声誉)的节点可能会被隔离在网络之外。
Celestia :与 Filecoin 结构相比,Celestia 具有更强的每字节安全性,可以抵御扣留攻击,但利用这种安全性的唯一方法是托管完整节点。向 Celestia 基础设施提出的请求,如果不属于内部拥有和运营,则会被审查而不会受到处罚。
EigenDA :与 Celestia 类似,任何服务都可以运行 EigenDA Operator 节点来确保检索自己的数据。因此,任何协议外的数据检索请求都会受到审查。另请注意, EigenDA 有一个集中且值得信赖的分发器,负责数据编码、KZG 承诺和数据分发,与我们的聚合器类似。
检索安全
可检索性对于 DA 来说是必要的。理想情况下,市场力量会激励经济上理性的存储提供者接受检索交易,并与其他提供者竞争,为用户压低价格。假设这足以让数据提供者提供检索服务,但鉴于 DA 的重要性,要求更高的安全性也是合理的。
目前,检索无法通过上述经济安全性得到保证。这是因为从加密角度很难以信任最小化的方式证明用户端未收到数据(在用户端需要反驳存储提供者声称发送数据的情况下)。为了通过 Filecoin 的经济安全性确保检索安全,需要协议本地检索保证。在对协议进行最小更改的情况下,这意味着检索需要与扇区错误或交易终止相关联。Retriev 是一个概念验证,它能够通过使用受信任的“裁判”来调解数据检索纠纷,从而提供数据检索保证。
补充:其他 DA 解决方案的检索
如上所述,Filecoin 缺乏防止存储(或检索提供者)自私行为所必需的协议本地检索保证。就以太坊和 Celestia 而言,保证可以读取协议数据的唯一方法是自行托管完整节点,或信任基础设施提供商的 SLA 。作为 Filecoin 存储提供者,保证检索并非易事。Filecoin 中的类似设置是成为存储提供者(需要大量基础设施成本)并成功接受与作为用户发布的存储提供者相同的存储交易,此时人们将付费为自己提供存储。
延迟分析
Filecoin 的延迟由多种因素决定,例如网络、拓扑结合、存储提供用户端配置和硬件功能等。我们提供的理论分析讨论了这些因素以及构建所能预期的性能。
由于 Filecoin 证明系统的设计以及缺乏检索激励, Filecoin 并未为提供从初始发布数据到初始检索数据的高性能往返延迟而进行优化。Filecoin 的高性能检索是一个活跃的研究领域,随着存储提供者能力提升以及 Filecoin 引入新功能,该领域也在不断变化。我们将“round trip”定义为从提交数据交易到提交至 Filecoin 的数据最早可以下载的时间。
区块时间
在 Filecoin 的预期共识中,数据交易可以在 30 秒的区块时间内完成。1 小时是链上敏感数据(如 coin transfers)的典型确认时间。
数据处理
数据处理时间因存储提供者和配置而异。使用标准存储提供硬件,封装过程需要 3 小时。存储提供者通常会通过特殊用户端配置、并行化和投资功能更强大的硬件来缩短 3 小时的时间。这种变化还会影响扇区解封的持续时间,而 Filecoin 用户端(如 Lotus)中的快速检索选项可以完全规避这种情况。快速检索设置将未封装的数据副本与封装数据一起存储,从而大大加快检索时间。基于此,我们可以假设从接受数据交易到数据在链上可用的最坏情况延迟为 3 小时。
结论和未来方向
本文探讨了如何利用现有的 DSN(即 Filecoin)构建 DA。我们考虑了 DA 作为以太坊扩展基础设施关键要素的要求。我们考虑基于 Filecoin 构建 DSN 上 DA 的可行性,并用它来探索 Filecoin 上的解决方案将为以太坊生态带来的机会,或任何将受益于具有成本效益的 DA 层的机会。
Filecoin 证明 DSN 可以显著提高基于区块链的去中心化系统中的数据存储效率,按当前市场价格计算,每写入 32 GB 数据可以节省 1 亿美元。尽管对 DA 的需求还不足以填满 32 GB 扇区,但如果封装空扇区,DA 的成本优势依然存在。尽管当前 Filecoin 上的存储和检索延迟不适合热存储需求,但存储提供者的特定操作可以提供合理性能,确保数据 3 小时内可用。
Filecoin 存储提供者的信任增加可以通过可变抵押品进行调整,例如在 EigenDA 中 。Filecoin 扩展了这种可调安全性,允许在网络上存储大量副本,从而增加了可调节的拜占庭容错性。为了强有力地阻止数据扣留攻击,需要解决有保证和高性能的数据检索问题,但是与任何其他解决方案一样,真正保证可检索性的唯一方法是自行托管节点或信任基础设施提供者。
我们在 PoDSI 的进一步发展中看到了 DA 的机会,它可以(与 Filecoin 当前的证明一起)代替 DAS 来保证数据包含在更大的封装扇区中。根据实际情况,这可能会使数据周转缓慢变得可以容忍,因为欺诈证明可以在 1 天到 1 周内发布,而 DA 可以按需保证。PoDSI 仍是一个新技术,并且处于大量开发中,因此我们还不知道高效的 PoDSI 会如何,也不知道围绕它构建系统所需的机制。由于已经有了在 Filecoin 数据上进行计算的解决方案,因此在封装或未封装数据上计算 PoDSI 的解决方案可能并非遥不可及。
随 DA 和 Filecoin 领域的发展,解决方案和支持技术的新组合可能会带来新的概念验证。正如 Solana 与 Filecoin 网络的集成所显示,DSN 具有作为扩展技术的潜力。Filecoin 上的数据存储成本提供了一个开放机会,有很大的优化空间。尽管本文所讨论的挑战是在支持 DA 的背景下提出的,但他们的最终解决方案将在 DA 之外构建大量新工具和系统。
相关图表数据来自 Filecoin spec、EIP-4844、EigenDA、Celestia implementation、Celenium、Starboard、file.app、Rollups DA 和 Execution,以及当前大致市场价格。