首页 > IPFS > 正文

关于IPFS:Filecoin存储挖矿指南

分类:新闻Soros亿融数据 2020-07-31 10:54

  关于IPFS:Filecoin存储挖矿指南

 

  首先非常感谢所有参与(并将继续参与)Filecoin的人——感谢你们的支持,我们已经能够快速成熟我们的协议和实现。我们还在继续努力向前,并稳步地向主网的发布迈进。

  

  在这篇文章中,我们提供了更新后的Filecoin存储挖矿指南,并讨论了最近宣布的一些奖励措施和为不断壮大的Filecoin社区成员提供的机会。

  请注意,Filecoin仍在改进中。从testnet提供的实验中获得的新见解正在积极地并入最终规范中。因此,重要的网络参数仍然会在主板启动前发生变化。我们强烈鼓励矿商在投入大量资金之前购买小规模的硬件,用于测试、实验和基准测试。

 

  01

 

  参与Filecoin网络

 

  目前,节点在Filecoin网络中可以扮演两个主要角色:存储和检索。我们预计,矿商将寻求专攻特定的角色。

  存储市场

  在Filecoin网络中,节点能够与客户签订协议,提供在一段商定的时间内存储其数据的功能,以换取Filecoin。

  为Filecoin网络提供存储的节点称为存储矿工。这些节点定期被授予使用它们自己创建的块扩展Filecoin区块链的能力。当它们创建一个新的块时,存储挖矿者会获得新生成的filecoin,以及向寻求在块中包含消息的其他节点征收的交易费。

  检索市场

  节点还可以参与检索契约,为客户端提供指定的文件以交换filecoin。这激励具有高吞吐量、高带宽连接的位置良好的节点参与网络,促进文件的广泛和快速分发——尤其是那些要求很高的文件。

  其他角色

  许多其他角色(例如促进网络自修复的“修复”节点)目前正在开发中,但是还没有最终确定下来,也没有得到任何实现的支持。不过,即使没有这些拟议的改进,网络也能充分运作。

 

  02

 

  存储矿业解释

  关于IPFS:Filecoin存储挖矿指南

  

 

  存储矿工的作用是代表Filecoin网络保存文件。存储矿工必须以密码方式证明他们遵守了存储这些文件的承诺——这是通过复制证明(PoRep)和时空证明(PoSt)机制实现的。向Filecoin网络承诺存储需要Filecoin;它们被用作抵押品,以确保矿商履行其合同义务。

  存储数据

  在Filecoin网络中,数据存储在固定大小的扇区中。一般来说,存储矿商为客户存储的数据充斥着这些行业,客户通过协议签订特定时间内的存储矿商服务合同。然而,矿商并非被迫进行交易;如果一家存储矿商觉得现有的交易方案都没有吸引力,他们也可以做出容量承诺,在各个行业任意输入数据。这使得它们可以证明它们是在代表网络保留空间。如果需要,为承担能力承诺而创建的部门可以在以后“升级”,为未来的交易提供合同储备。

  Proof-of-Replication

  一旦一个扇区被填满,PoRep就会看到存储矿工对扇区进行密封——密封是一个计算密集型的过程,会导致数据的唯一表示(原始表示可以通过打开来重新构建)。一旦数据被密封,存储矿工:生成一个证明;对证明进行压缩;最后,将压缩结果提交给区块链,作为存储承诺的证明。通过这个过程为网络保留的存储称为承诺存储。

  Proof-of-Spacetime

  PoRep完成后,存储采集器必须不断证明它们仍在存储它们承诺存储的数据。这是通过PoSt完成的,在这个过程中,存储矿工被发出一个密码挑战,只有通过直接咨询一个密封的扇区才能正确回答。存储矿工必须在严格的时间限制内响应这一挑战;密封的计算困难确保了储存矿工必须保持能够随时进入密封区并保持其完整性。

  在Filecoin中,以两种不同的挑战发布清单:WindowPoSt和WinningPoSt。

  WindowPoSt

  WindowPoSt是一种机制,通过它可以审计存储采矿者所做的承诺。它将每个24小时的时间段分成一系列的窗口。相应地,每个存储矿机的承诺扇区集合被划分为子集,每个子集对应一个窗口。在给定的窗口中,每个存储挖掘程序必须为其各自子集中的每个扇区提交一个PoSt。这需要随时访问每个有问题的扇区,并将导致以块中的消息形式发布到区块链。这样,在任何24小时内至少对认捐的每个储存区进行一次审计,并保持一份永久的、可核查的和公开的记录,以证明每个存储采矿者的持续承诺。

  Filecoin网络期望存储的文件具有恒定的可用性。

  没有提交一个扇区的窗口将导致一个故障,供应该扇区的存储采矿者将被大幅削减——也就是说,他们的部分抵押品将被没收,他们的存储能力(见下面的存储能力)将被降低。储存采矿者将有一段有限的时间从故障中恢复,然后将被认为完全放弃其储存承诺。如果出现这种需要,存储采矿者也将有能力预先宣布错误,这将导致减少处罚,但仍必须在合理的时间范围内处理。

  WinningPoSt

  WinningPoSt是指储藏矿工因其贡献而获得奖励的机制。在Filecoin网络中,时间被离散成一系列的epoch -区块链的高度对应于经过的epoch的数量。在每个纪元的开始,选择少量的存储挖掘器来挖掘新的块(Filecoin利用tipset,它允许在相同的高度挖掘多个块)。成功创建块的每个被选的矿机都被授予filecoin,以及向其他节点收取费用以在块中包含消息的机会。

  存储采矿者被选中的概率与其存储能力相对应。在一个类似于底层WindowPoSt的过程中,存储挖掘器的任务是在epoch结束前提交一个特定扇区的压缩存储证明。在必要的窗口内未能完成win - post的存储矿工将失去开采一个区块的机会,但不会因此而受到惩罚。

  存储能力

  一个Filecoin存储挖掘者的能力,相当于一个存储挖掘者被选去挖掘一个区块的可能性,大致上与他们代表网络封存的存储容量成比例。为了进一步鼓励存储“有用的”数据而不是简单的容量承诺,存储矿商有更多的机会竞争经过验证的客户提供的特殊交易。

  这些客户在提供有意义数据存储交易的意向方面得到了认证,而存储矿商从这些交易中获得的收益将得到倍增。一个给定的存储挖掘器所拥有的总功率,在考虑了这个乘数后,被称为质量调整功率。

 

  03

 

  Filecoin实现

 

  Filecoin分布式存储网络是一个具有许多实现的开放规范。

  在编写本文时,最成熟的实现(也是应该用于访问当前testnet的实现)是基于go的Lotus。Lotus客户机能够在Linux和macOS上运行;安装和使用Lotus的详细说明可以通过其文档获得。

  目前至少有三个其他实现正在积极开发中。其中包括go-filecoin(另一种基于go的实现)、forest(由ChainSafe开发的Rust实现)和fuhon(由Soramitsu开发的c++实现)。

 

  04

 

  硬件方面的考虑

 

  Filecoin网络的参与者需要确保他们的系统为他们想要填充的角色提供了足够的装备。在不进行挖掘的情况下运行Lotus客户机。

  如果你不想但仍然愿意运行Lotus端为了保持一个钱包或与网络接口,系统2 - 4 CPU核心,8直布罗陀海峡的RAM,足够的存储Filecoin区块链应该足够(当前testnet链长约12每周直布罗陀海峡;减少这种存储需求的改进正在进行中)。

  存储矿业

  值得注意的是,在其当前状态下,Filecoin存储挖掘需要相当强大的硬件来满足存储和证明的要求。这些需求主要是由PoRep和PoSt机制施加的设计约束以及需要在可访问性、计算可行性和加密安全性之间取得平衡所驱动的。

  Filecoin存储采矿不是工作证明采矿——密封存储是在网络上获得电力的唯一方法——但快速和高效的硬件需要在可接受的时间范围内计算必要的证明。协议实验室目前正在研究放松这些需求的方法(例如,通过在证明机制本身引入效率,或者通过外包SNARK计算来消除对昂贵gpu的需求)。然而,与此同时,在对硬件进行大规模投资之前,未来的存储矿商应该仔细考虑和试验其系统的组成,以确保它们能够实现所需的性能。

  示例采矿机器和基准

  最佳的系统组成在很大程度上取决于储藏商的经营

  模式,包括资本支出和经营成本;因此,协议实验室无法给出任何具体的建议。但是,我们已经公布了一些我们自己的设计,包括目前适合测试和小规模采矿的机器的概要。

  我们希望存储矿工根据自己的需要调整配置;在testnet上使用替代配置进行挖掘是可能的,我们希望这些配置中的许多将超过我们自己构建的效率。我们鼓励实验,并会邀请感兴趣的社区成员分享他们自己在GitHub上的基准分数。

  一般的硬件问题

  虽然我们不能提出具体的建议,但我们可以提供一些一般性的指导方针。

  CPU.根据经验,具有高时钟速率的多核cpu将加速密封过程,允许存储矿工将板载存储更快地传输到网络上。协议实验室自己的测试显示,现代AMD处理器与SHA扩展提供了相当大的优势,比其他处理器。

  GPU.强大的gpu需要在规定的时间内完成SNARK计算。Lotus目前被设计为支持nvidia制造的芯片;我们期待其他制造商的支持卡在未来。我们的基准测试提供了对我们已经取得成功的芯片的深入了解。

  RAM.目前的Filecoin网络只支持32GiB和64GiB扇区的封口。在这些较大的扇区上进行必要的计算需要相应的RAM;建议采矿系统至少配备128GiB。存储在选择适当的存储解决方案时需要考虑许多因素,也许最重要的是采矿作业假定的具体收入模型。矿商目前需要承诺1TiB的原始储量(或质量调整后的同等储量;为了挖掘块,主板将增加到100TiB),但是除了这个要求之外,还有更多的因素需要考虑。

  ·首先也是最重要的,存储采集器应该注意到丢失数据所带来的巨大损失;即使是一个翻转的比特也会导致严重的惩罚。因此,存储矿工可能希望考虑开销来实现数据冗余。

  ·对于寻求参与检索市场的存储采矿者来说,考虑纳入额外的存储,以便为提供密封数据的“热”副本做准备也可能是谨慎的。虽然当然可以打开扇区来恢复原始数据,但是支持此用例的Filecoin实现将消除这种计算负担(这是Lotus目前正在开发的特性)。

  ·另一个需要考虑的因素是Filecoin网络对高可用性的期望。虽然理论上讲,存储采矿者应该能够使用大多数商品hdd、ssd或其他合适的非冷藏存储方案,但在进行⁄作业时,并不是所有的存储方案都能发挥最佳效果。247

  ·存储采集器目前也需要足够的空间来存储区块链本身;减少磁盘上区块链的占用空间是Lotus活动开发中的一个特性。Filecoin实现也可能需要额外的磁盘存储,相当于承诺存储的一小部分,用于记帐。

  ·最后,协议实验室在测试中发现,在RAM数量较低(128GiB)的系统中,使用NVMe存储作为交换空间可以作为补充;否则,存储矿工在某些操作期间可能会遇到内存不足的问题(密封特别需要大量的工作内存)。

  如果使用分布式Lotus seal workers(参见下面的高级挖掘注意事项),则建议使用高性能网络(推荐使用10GbE+网卡和交换机)。在使用网络连接存储时,还建议使用高性能网络。

  先进的挖矿方面的考虑

  如前所述,Filecoin存储挖掘主要关注与PoRep和PoSt机制相关的问题。PoRep本身由几个阶段组成,Filecoin的Lotus实现便于将这些阶段委托给不同的机器,从而使用seal工人获得最大效率。Protocol Labs开发了一个示例架构,旨在利用这些功能进行大规模挖掘。在这里,我们打破了设计类似系统时需要考虑的不同瓶颈。

  密封预交付阶段1。在这个阶段,将进行PoRep SDR编码。这个阶段是cpu绑定的,并且是单线程的(根据设计,它不支持并行)。这一阶段预计将采取数小时的顺序,与精确时间的数量取决于部门的大小被密封,当然,做密封的机器的规格。如前所述,协议实验室(和其他)已经发现AMD处理器与SHA扩展在相当程度上加速了这一进程。使用具有更高时钟率的cpu也将提高性能。

  密封预交付阶段2。在这个阶段,Merkle树的生成使用Poseidon哈希算法。这个过程主要是与gpu有关的——可以使用一个CPU作为替代,但是应该预期速度会慢得多。当使用GPU时,这一阶段预计将采取45分钟到一个小时的顺序。

  密封承诺阶段1。这是一个中间阶段,执行生成证明所需的准备工作。它是cpu绑定的,通常在几十秒内完成。

  密封承诺阶段2。最后,这个密封阶段涉及到创建SNARK,它用于压缩必要的证明,然后广播给区块链。这是一个gpu密集的过程,预计需要20-30分钟才能完成。

  协议实验室发现,在同一台机器上同时定位预提交阶段2、提交阶段1和提交阶段2是很有效的,可以利用高密度的计算机器进行预提交阶段1。但是,在预提交阶段1和预提交阶段2之间有一个很大的文件传输;对于网络访问速度较慢的机器,或者使用硬盘而不是固态硬盘的机器,这可能会超过在其他领域取得的性能提升。在这种情况下,使所有的相位都发生在同一台机器上可能更有效。

  PoSt主要局限于gpu,但可以利用具有多个内核的CPU来加速进程。例如,WindowPoSt当前必须在30分钟的窗口内发生;一个24核CPU和一个8核CPU之间的区别可能是清除一个舒适的边界窗口和只是在时间上勉强过关之间的区别。WinningPoSt是一个不那么密集的计算,必须在一个Filecoin纪元的小得多的窗口中完成(当前为25秒)。

 

  05

 

  加入Testnet第二阶段

 

  我们的testnet是Filecoin网络正式发布的初步阶段——我们目前处于testnet第二阶段,预计将运行到2020年第三季度的主网络发布。

  在testnet阶段,存储挖掘器可以从水龙头中检索filecoin,作为保证存储所需的抵押品。

  请注意,testnet文件素没有任何值-官方文件素只在启动主网络后可用。

 

  06

 

  加速了Filecoin生态系统

 

  随着mainnet方法的推出,社区成员参与Filecoin的机会越来越多。

  SpaceRace

  为了准备主板,协议实验室最近宣布了一个激励计划,SpaceRace,对testnet进行压力测试。参赛者将有机会通过使用尽可能多的存储空间,竞逐主网filecoin。

  HackFS

  HackFS是一个为期30天的虚拟黑客马拉松,旨在为去中心化的网络建立基础。开发者将构建dapps、游戏、开发工具、DeFi集成以及其他利用分散存储的黑客。HackFS将由ETHGlobal和协议实验室主办,并拥有所有的hackathon素材:研讨会、指导、鼓舞人心的演讲、全美教师协会奖和奖

  品!

  Filecoin发现

  Filecoin discovery是最近宣布的一项计划,旨在为Filecoin注入一些人类最有价值的文化和科学数据。购买Discover计划的个人将获得为期一年的质量调整存储协议,而Discover将充当认证客户。

  Filecoin dev拨款

  我们通过Filecoin dev赠款资助贡献者,继续促进Filecoin生态系统的发展。Wave 4拨款提案的最后期限是7月1日,作为优先考虑,但我们将继续评估在最后期限后提交的提案。Wave 5的提案将于10月1日到期。

 

  07

 

  总结

 

  区块链是一种复杂的软件,有许多可移动的区块,从零开始构建一个成功的区块链是一项艰巨的任务。如果没有来自世界各地社区成员的支持,Filecoin就不会有今天的成就,我们对帮助Filecoin走到这一步的每一个人都深表感谢!再一次,感谢您的持续支持,参与和耐心,我们进入最后的日子,在主网络上线之前。

  我们非常兴奋地欢迎新的伙伴能够加入我们的行列——矿工、开发人员和用户;并希望这样的一个指南可以作为任何希望加入我们的人的起点,让我们开始这段令人敬畏的旅程的下一个步骤!

本文标签:IPFS Filecoin 存储 挖矿

上一篇:IPFS&Filecoin突破潜力,塑造价值!

下一篇:麦客存储在IPFS赛道的冲击|财路网专访

猜您喜欢
关于我们联系我们作者投稿APP下载