去中心化存储之所以重要,是因为它解决了Web2.0中心化云存储的种种痛点,并且更顺应大数据时代发展的需求,能以更低成本,更高效率地存储非结构化的边缘数据,赋能IOT和自动驾驶等技术。
我们的社会正处于前所未有的信息大爆炸时代,计算机、智能设备、电视、家居安全系统、可穿戴设备、汽车、甚至机器人都时时刻刻在产生和使用着数据。随着AI和物联网(IoT)的发展,庞大的设备群又会产生海量的数据。
未来将是数据成为主要生产要素的数字时代,呈指数级增长的数据量对于当前的数据存储体系提出了更高的要求,服务包括数据存储、管理、检索。
传统的中心化云存储是一种将存储资源放到云上供人存取的存储解决方案。以互联网云存储作为服务的商业模式由来已久,亚马逊网络服务公司早在2006年就推出了Amazon Web Services (AWS) ,将自己的服务器和存储空间租借给用户,降低了开发者创建并管理服务器基础设施的开销。
目前,互联网云服务市场已经十分巨大,2021年市场规模达到2000亿美金。国外的亚马逊、微软、谷歌,以及国内的阿里巴巴等公司代表了中心化云存储的头部企业。
其中,亚马逊网络服务公司常年保持行业龙头地位,2021年收入已经达到了620亿美元,约占云服务市场份额的33%。排名第二的是微软,近年来增长惊人,市场份额已经从2017年的13%提升到2021年的21%。
就亚马逊网络公司来说,其中四个核心部门分别是:云计算、云存储、网络和软件,各部门的收入增长情况如下:
图中数据显示,增长最快的板块是软件服务,2021年第三季度的收入达到近70亿美金。云计算,云存储,网络服务的增长曲线和收入比较接近,在30亿美元左右,较2018年的收入水平已经翻倍。
综上,在大数据时代,云存储的市场增长空间仍十分广阔。
随着时间推进,中心化云储存的服务不断改进,价格不断降低。但由于中心化存储将数据集中化,涉及的数据量更大,使得数据更易受到攻击和泄露。中心化存储数据的安全性、隐私性和可持续性都存在一定风险,使得行业逐渐陷入瓶颈。
数据的安全包含两层含义:第一层是“可以保证数据隐私不泄漏”,第二层是“可以保证数据的完整不丢失”。
在当前的中心化存储模式下,用户将敏感数据全部上传,不但使用户失去了对自己数据的掌控权,还将数据泄漏的风险转移到云存储运营商一侧。
如果这些隐私信息发生数据丢失、损坏、泄露、或被盗用,可能导致个人,企业乃至整个社会的重大损失,并使云存储运营商名誉扫地。
同时,云存储本身也不过是一种商业模式,中心化的云存储运营商可能因各种市场或自身经营的问题跑路或是停止服务,而用户却无法对服务商的行为有任何约束和索赔的行为。
这就造成用户往往倾向于将数据存储在规模更大、更有信用的服务商处,使头部公司的数据集中化程度越来越高,这也造成了数据一旦丢失将存在大面积丢失的情况。
在可持续性方面,当前中心化存储的模式存在一定服务上的限制。随着无人驾驶和物联网(IoT)的普及,大量的智能设备将接入网络并产生指数级增长的实时数据。
在这种情况下,中心化的数据存储显然不能满足网络存储的需求。未来数据存储系统不仅要做到数据的存储、共享、读取,还要做到高效、准确的数据传输和分析,这对中心化的数据存储结构造成了极大的挑战。
综上,数据中心化存储模式的脆弱性在一定程度上不利于大数据时代的发展。为了从根本上解决传统中心化存储频繁的数据泄露、服务的限制、运营商停运等问题,去中心化/分布式存储这一概念逐渐兴起。
去中心化存储网络(Decentralized Storage Network, DSN)是一种以区块链为底层技术,通过分布式存储将文件或文件集分片存储在供应方提供的存储空间上的存储商业模式。
去中心化存储之所以重要,是因为它解决了Web2.0中心化云存储的种种痛点,并且更顺应大数据时代发展的需求,能以更低成本,更高效率地存储非结构化的边缘数据,赋能IOT和自动驾驶等技术。同时,去中心化存储还是web3发展的基石。
3.1 去中心化存储解决了 Web2 中心化云存储的痛点
上文分析道,传统互联网采用的中心化存储数据全部在应用平台服务器上,目前面临着如用户数据安全、所有权、隐私保护和可持续性等诸多问题。
而去中心化存储的优势正在于数据可跨多位置复制并在多处被访问,减少了黑客通过单一节点攻击的安全性问题,能够有效进行数据确权和隐私保护,并使用户可以完全控制自己的数据。这样的安全性和隐私性是中心化网络所不具备的。
此外,以Arweave为首的项目专注数据的永久存储问题,为重要数据存储的长期稳定性做贡献。可以说,中心化存储所面临的挑战正是去中心化存储迎来的机遇。
3.2 分布式存储适合的非结构化的边缘数据
结构化数据指代传统的关系数据库里存放的内容,而图片、音频、视频、文档等以普通文件形式存放的数据就是非结构化数据。根据IDC报告,未来的数据中,75%增量都是非结构化的边缘数据。
不同于集中式云存储服务,分布式存储可以将数据存储从远距离的云服务器端,迁移到离数据更近的边缘存储设备或边缘数据中心就近存储,具有更低的网络通信开销、交互延迟和带宽成本,更高的自适应能力与可扩展性,适合处理数量大、速度快的存储。
3.3 去中心化存储的成本优势
去中心化的数据存储,尤其是在针对非结构化的数据上,有着明显的成本优势。因为分布式存储通过节点和代币奖励的形式改变了生产关系,让终端用户以很低的价格使用存储、索引等服务。
例如,用IPFS网络存储的,NFT几乎没什么成本。相对的,传统互联网的网盘业务,如百度网盘,其实有非常高的中心化运营成本。所以,从成本方面看来去中心化存储是有明显的竞争优势的。
3.4 去中心化存储是Web3.0的基石
去中心化存储是Web3领域最早出现也最受关注的基础设施之一。最早的去中心化存储方案Storj和IPFS协议在2017年就已经上线。
如果没有分布式存储,就不存在去中心化的网络,更加不会存在Web3.0。那些只有去中心化服务,却没有底层去中心化存储支持的项目,严格意义上不能算是一个web3项目。所以说,去中心化存储是赋能web3长期发展的基石,意义重大。
综上,去中心化存储既解决了传统中心化存储的问题,服务了大数据时代下传统行业的数据存储需求,又赋能了新兴的web3.0。作为加密领域的重要基础设施,去中心化存储赛道的商业模式明确清晰,市场规模呈显著增长趋势,对于矿工和投资者来说,整个市场是有利可图的。
随着Web3生态的发展、以及对隐私和用户数据所有权的重视,去中心化存储领域将带来显著回报。
去中心化存储发展的不同阶段,解决了不同的问题:
Storj、Sia用智能合约实现了P2P的供需匹配,适用于大规模数据的存储,但其本质是存储资源的对接,缺乏有效的内容寻址方法,不利于文件共享,如电影、音频等。
IPFS实现了文件寻址,是对互联网底层协议的重大革新。Filecoin、Crust等项目通过激励层构建了IPFS存储网络,从而提供稳定的去中心化存储服务。
Arweave通过创新的共识机制实现文件的永久存储。
2021年上线的Ceramic数据库存储协议能满足高频数据需求。Stratos则推出区块链、存储、计算三位一体的Web3去中心化基础架构。
然而,即便经历了5年的发展,去中心化存储仍然处于初始阶段。目前,Filecoin全网有效存储量59.6PB,Arweave总存储量达到76.3TB。根据Web3 Index数据统计,Arweave过去90天存储费用为18.5万美元,Storj为5.5万美元。
可见,不论是存储规模还是性能,去中心化存储目前都与中心化存储相差甚远。然而,基于去中心化存储的种种优势,未来该赛道还有极大的增长空间,并将爆发出更多的可能性。
5.1 什么是Filecoin?
在了解 Filecoin 之前,我们需要了解 IPFS。
IPFS(InterPlanetary File System)是一个去中心化的网络底层协议,于2015年上线,主要对标互联网的超文本传输协议HTTP,旨在对其进行补充甚至替代。
IPFS协议定义了文件在分布式系统中如何存储、检索和传输,能永久、去中心化保存和共享文件,这是一种内容可寻址、点对点分布式协议。IPFS 的愿景非常宏大,希望充当Web 3.0的存储层并建立新的互联网架构。目前有超过50亿个文件已上传至IPFS,有超过100个区块链项目采用IPFS存储数据及文件,现已成为去中心化网络的重要基础设施之一。
Filecoin是基于IPFS协议的激励机制及公链系统,它建立了一个开放的去中心化存储网络来存储世界各地的数据,既是作为IPFS的存储层,也是IPFS协议的激励层,IPFS是整个系统的应用层。Filecoin与IPFS都是由Protocol Labs开发,两个协议共享多个功能模块。
Filecoin网络生态主要由独立的矿工(提供网络存储容量的参与者)以及雇用矿工的存储服务客户组成。矿工通过提供存储空间,以有效存储作为算力,参与网络治理,竞争区块打包权。
矿工是项目生态发展的关键贡献者,而代币持有者对矿工和开发商的投资对于生态系统的增长也至关重要。
Filecoin采用的是一种混合的共识机制:Expected Consensus(预期共识机制)+ PoRep(复制证明)+PoSt(时空证明)。
Filecoin的混合共识机制相对于传统的共识机制,有两个优势:
其一,网络交易效率高。无需通过大量的计算,存储服务商只需用存储空间来获取相对应的奖励,便能有效防止存储服务商所付出的成本浪费。
其二,有效防止区块链分叉。Filecoin通过质押机制和存储空间权重使得存储服务商选取最有效的一条链,同时通过惩罚机制对进行分叉的存储服务商进行相对应的惩罚。
5.2 Filecoin代币经济
Filecoin的生态代币为FIL,固定最大供应量为20亿FIL。
总代币供应量的 70% (14 亿代币)用于奖励矿工,Filecoin 基金会拥有 5%(1亿枚),Protocol Labs 15%(3亿枚),SAFT投资者 7.5%(1.5亿枚),以及其他早期投资者 2.5%(5千万枚)。
代币归属期:
矿工立即获得奖励的25%,剩下的75%在180天内线性解锁。不可靠存储节点获得的区块奖励将被削减和烧毁。挖矿储备暂未释放,将由社区决定如何分配。根据Filescan 2022年8月23日的数据显示,矿工日产出约为29万枚。
5.3 Filecoin前景分析
Filecoin直接与传统云存储行业的大玩家竞争,旨在提供更便宜的替代品,颠覆以亚马逊,谷歌,阿里巴巴为首大型公司主导的中心化云存储行业。
Filecoin若想在云存储市场上取得成功,就需要能够在价格上竞争。即使由于其网络的安全性和去中心化性质,在长期Filecoin或许可以收取一定溢价,大型中心化公司在规模经济方面仍具有显著竞争优势,可以不断降低价格。在短期内Filecoin 所代表的去中心化云存储服务商想弯道超车还有一定难度。
竞争优势:
-
项目体量巨大、资金充沛,目前生态系统完备,有利于扩大应用规模。
-
以Filecoin的机制来说,整个网络通过区块奖励来支付矿工硬件成本,以此来提供存储服务。存储服务以竞价撮合交易,该竞价撮合机制有利于降低存储服务价格。
竞争劣势:
-
Filecoin挖矿硬件要求较高,无法保证普通用户的个人电脑参与挖矿,整个网络有趋向中心化的各大机房、数据中心的风险。
-
以目前IPFS网络的下载速度来说,要达到企业级服务的要求,其性能及速度还需要进一步提高。
6.1 Arweave
Arweave项目于2017年创立,主网于2018年6月上线,是主打一次性付费并获得永久文件存储的协议,提供一种名为Permaweb永久网络的存储解决方案,利用区块链不可篡改的特性,直接把内容写入区块进行存储,以首次实现真正的永久数据储。
当前,互联网每20年就会丢失95%的网络信息。Arweave着手解决如何长期可靠的存储数据,利用访问证明(Proof of Access, POA)激励矿工永远储存历史并根据要求分享,矿工在获得新的区块奖励的同时,同时也会因存储链中随机的旧区块而获得奖励,这意味着矿工存储的总块数越多,获得的收益就越多。
Arweave在2022年第二季度营收为19.3万美元,较第一季度环比上涨31%。
项目优势:
Arweave主打一次性付费并获得永久文件存储,补齐市场缺口。根本来说,Arwaeve解决的是如今互联网的言论自由受限、过度审查、易于篡改的问题。
同时,Arweave也可以帮助机构存储完整、不可篡改的知识及信息,比如用于存储气候变化数据库,目前Arweave与美国国家海洋与大气管理局合作将正在进行的二氧化碳测量值进行永久存储以测试Permaweb。
Arweave表示,将提供数据存储成本类似摩尔定律式的下降,用户只需要支付一次性的预付款(每兆字节约半美分),而超额付款所产生的利息将帮助后续存储服务继续下降。
Arweave创始人Sam Williams表示,「近几年,Arweave数据存储成本平均每年下降了30%,只要该比率不低于0.5%(按照如今的存储需求),去中心化网络仍然能够负担成本,如今的付款将将涵盖未来200年的存储空间的成本」。
技术方面,Arweave的挖矿采用了RadomX的算法,同时在此基础上引入了区块完整率的参数。由于Arweave的特性决定了其区块大小一定是随着网络的使用指数级上涨的,考虑到日益膨胀的区块数据,未来节点或有无法存储完整的区块数据的风险,因此,引入区块完整率的参数,不要求所有节点存储完整的区块数据,而且根据节点存储的区块数量多少来竞争区块打包。
项目劣势:
Arweave特性能应用于以HTML5网页为主的数据保全,建立去中心化H5-APP,但在实际使用中,我们发行该存证的应用场景较窄,目前可以看到目前在Arweave上存储的最多的是推特的一些反政府言论的截图,明确的反政府应用增多是令人担忧的。
同时,Arweave的特性是永不可篡改,这在程序开发上显得尤为困难,因为开发者上传到Arweave的程序必须任何错误都不能有,如果有错误,哪怕是一个标点,之前上传的内容都要作废,需要重新上传,势必造成大量无用垃圾堆积。另外,由于区块链的开放性,Arweave上传的内容都是面向全社会开放的,不适合上传个人内容。
最后,Arweave主打主打一次性付费并获得永久文件存储,该模式较为简单,有一定风险会引发同质化项目出现利用相同的存储概念并打响价格战。
6.2 Storj
Storj创立于2017年7月,是一个基于以太坊的分布式云存储协议,由盈利性公司Stroj Labs开发。
Storj旨在搭建免审查、免监控且不停机的去中心化云存储平台,通过利用闲置硬盘和带宽,在P2P网络上任何节点之间都可以进行磋商、数据传输、验证数据完整性和可用性、检索数据、并进行存储。
Storj在2022年第二季度营收为4.8万美元,较第一季度环比降低64%。其主打企业级的存储服务,模式更偏向商业化,直接对标亚马逊的S3服务,并与Microsoft Azure建立了合作伙伴关系,希望为企业提供各项性能指标都堪比、甚至超越亚马逊存储的服务。
截止目前Storj已经拥有13,000以上的节点,向数千名用户出租网络。最近Storj大大提升了视频存储与管理的性能。若项目进展顺利,Storj将成为最具商业竞争力的企业级去中心化存储平台之一。
用户可以在Storj平台上使用其平台通证$STORJ购买存储服务,它的模式类似Airbnb和Uber。用户利用闲置的存储空间提供存储服务,并获得$STORJ回报。
绝大多数的小型设备,如NAS、个人电脑、树莓派都可以安装Storj节点,出租自己的闲置空间,适用于搭建一个极度分散化的云存储网络,适用于平民化挖矿。Storj自诩为去中心处存储中的Uber ,可以把社会闲置资源重新组织成可用的商业产品。
6.3 Stratos
Stratos – 下一代去中心化的数据网络。
Stratos网络提供去中心化存储解决方案,于今年2月份开启了存储测试网,主网预计今年上线。Stratos基于强大的去中心化平台和具有高吞吐量的原生区块链,项目获得了来自FundmentalLabs,Kenetic, Fenbushi Capital,Assembly Partners等机构投资,
Stratos网络由四个模块和三个层级组成,为开发者提供最底层的基础设施。四个模块为区块链、去中心化存储、去中心化数据库和去中心化计算。
三个层级分别为价值层、资源层和元数据路由层,每一层都与一种不同的共识方法相关。 价值层使用Proof-of-Stake(PoS)共识,资源层使用Proof-of-Traffic(PoT)共识,而元数据路由层使用Proof-of-Authority(PoA)共识。
6.4 Ceramic
Ceramic是创建、托管和共享数据的去中心化开源平台,前身是3Box,一个基于以太坊的用户身份数据协议,它能够为存储在去中心化网络上所有类型的数据结构提供计算、状态转换和共识同步,从存储协议上的静态和不可变数据中获取可变的动态数据。
Cermaic旨在解决IPFS较为明显的缺陷,那就是文件一旦被存储,不能实时更新,需要手动保持同步动态,效率低。
Ceramic的数据流(steam)进程使开发者能够在没有可信数据库服务器的情况下,以动态信息为基础建立安全的、去信任的(trustless)、抗审查(censorship-resistant)的 Dapp。
Ceramic的核心组件包括三个:
-
可扩展的、分散的数据基础设施;
-
用于存储、修改和检索数据的开放 API;
-
社区创建的可重用数据模型市场。
6.5 Crust Network
Crust Network是波卡的平行链,旨在提供去中心化云存储服务。作为波卡生态重要的存储类公链,Crust Network有望成为Web3基础设施建设的重要一环。Crust Network特别的设计主要有两点:MPoW(有意义的工作量证明)和GPoS(担保权益证明)。
MPoW有效解决节点工作量的报告问题,具有透明性、公平性、高效性和发展性这四个特征。简单来说就是,存储机制简单透明,矿工工作量和奖励成正比,存储空间高效利用,TEE发展具有无限潜力。而在GPoS共识机制下,Crust Network生态产生了四种角色,分别是验证人、候选人、担保人和用户。
验证人是网络中打包并生成区块的节点,维护着整个区块链网络,需要存储资产作为担保,需要实时在线,这和Filecoin网络的矿工节点类似。
候选人是竞争成为验证人但是最后不具备验证资格的节点,同样需要存储资产作为担保,需要实时在线。不过候选人的角色并不是固定的,候选人有机会成为验证人。
担保人是网络中为任意一个或者多个节点提供担保的账户,为节点提供担保可以获得担保收入。
用户是存储需求的主体,通过支付CRU和Crust Network其他代币购买存储服务,使用网络存储空间。