0
2015年，一名毕业于斯坦福大学计算机系的硕士研究生胡安创办并发布了一种名为IPFS的协议，旨在打造一种区别于http传输协议，面向全球、点对点的分布式版本文件系统。这一协议的出现，改变了传统的中心化存储，正引发新一轮数据存储革命甚至掀起一场互联网革命。
IPFS如何打破中心化存储走向分布式？简单来说，在IPFS网络中，文件会被特殊加密的算法打散成若干个文件碎片，分散存储到世界各地的IPFS网络节点中，当用户需要下载数据时，通过内容寻址从最近的节点将碎片化的内容再次拼接起来，从而替代以往IP寻址。
IPFS能够有效解决中心化存储带来的高并发、数据冗余、存储安全、隐私泄露、成本高昂等问题，不过，IPFS分布式存储对基础设施建设也有更高的要求和挑战，如何解决这些挑战是IPFS快速落地的关键。
上周，第九届中国电子信息博览会（CITE2021）在深圳会展中心圆满收官，展会的重要组成部分2021深圳分布式存储峰会针对加速IPFS基础建设落地展开谈论。
创新存储架构，按需分层
IPFS分布式存储作为一种创新型的存储架构，弱化了中心化存储的极致需求，节省了服务提供成本， 但同时也面临创新存储架构都需要面临的难题，用户既需要大容量，也需要快速访问，又需要低成本，还需要低功耗。
“其实很难找到一个存储介质或存储设备能够同时满足这四个方面的用户需求，但好消息是在创新存储架构时，也可以作为系统来满足用户各种存储创建的需求，因为用户的数据是要进行分层的，不同类型用户数据有不同的存储要求。” 西部数据公司副总裁兼中国区业务总经理刘钢在2021深圳分布式存储峰会上说道。
为此，西部数据提出“分层存储”的概念，在“存储金字塔”中根据应用场景的不同将存储分为五层，从低到高依次为极冷存储、冷存储、温存储、热存储和极热存储。其中冷存储和极冷存储针对海量存储的大数据，热存储和极热存储针对能够提供快速访问的快数据。
具体而言，极冷存储层的写入次数较少，数据需要长期归档，基础金融数据、基本医疗资料以及广电行业都属于极冷存储层，SMR HDD就适用于这样的场景。冷存储有高容量需求且读取次数多，在线交易用户画像分析就是典型的冷存储，可以使用大容量企业级HDD。
温存储层需要较高性能IOPS，有一定的带宽要求，主流SSD/HDD适用于这样的场景。高性能SSD适合热存储层，DRAM/SCM等新型内存介质适合极热存储层。
“针对冷存储和极冷存储，IPFS服务商几乎在过去四个季度就走完了云服务商过去四年的硬盘演进过程，从8T进化到18T。相比升级到14T，升级到18T可以获得同样存储容量的情况下，减少服务器数量和提高存储密度，因此如今很多IPFS公司已经在本季度考虑迁移到18T高密度硬盘上。”刘钢说道。
针对IPFS存储痛点，优化计算和存储集群
IPFS分布式存储需要解决的落地难题，除了作为一种新型存储架构都要解决的难题外，自身也有许多存储痛点，具体包括数据吞吐量低、空间利用率低、扩容难、总体拥有成本高、运维低效以及故障惩罚高。
刘钢表示，存算分离已经是IPFS层面的共识，如果在IPFS的计算集群用7.68T的SSD，存储集群中使用18T的高密度硬盘，存储痛点将得到进一步改善。“用4U60+18T的配置，相比传统的4U36+16T的配置，机柜数减少了约46%，功耗减少了大约36%，大规模地降低了部署成本和运维成本。”
针对IPFS的存储集群，西部数据目前有高密度的磁盘扩展柜、大容量的18T硬盘，还有Ultrastar DC SN640 NVMe SSD来作为缓存。
针对IPFS的计算集群，西部数据有Ultrastar DC SN640 NVMe SSD和 Ultrastar DC SN840 NVMe SSD写密集型的SSD来提供支持。“我们发现有很多计算节点会把P1和P2功能的服务器进行拆分，因为P1可以并行，P2不能并行，但达到一定规模后再对P1和P2进行拆分，会发现虽然计算性能提高了，但两个节点之间的数据传输会带来一定的损失，这是采用高速的SSD缓存吃通过NVMe-oF连接到高速闪存池中，既降低成本，又提高效率。”刘钢说道。
目前已有不少厂商与西部数据合作，利用西部数据的存储技术针对IPFS的解决方案。刘钢介绍到，西部数据已经与星辰天合、浪潮三方合作推出了IPFS解决方案，方案包括西部数据Ultrastar DC HC550 18T硬盘、浪潮英信服务器NF5466M5、XSKY文件存储系统等关键组件。该方案不仅实现了快速部署、便捷运维，还有助于减少IPFS业务的异常情况带来的损失，大幅度提升业务收益。
杉岩作为一家分布式存储软件提供商，同时采用西部数据的高密度硬盘和高密度的4U60存储扩展机柜，提高密度降低成本，获得高可靠性和高稳定性。
在存储厂商和IPFS厂商的共同努力下，IPFS分布式存储的基础设施建设正加速落地。
文中图片源自西部数据
雷锋网雷锋网雷锋网
相关文章：
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
