IBM积极推进Ceph扩展，以打造AI领域的底层数据存储基石

IBM正着手扩展Ceph的块和文件存储功能，希望将其定位为Storage Scale并行文件系统之下面向AI工作负载的后端数据存储。
Ceph是一款开源横向扩展存储软件，在底层对象存储之上提供文件、块和对象存储接口，拥有自修复与自托管等特性。IBM于2019年以340亿美元收购红帽时，顺带将Ceph纳入囊中。就在一年多之前，IBM决定将Ceph产品从红帽业务部门转移至存储部门，并将其更名为Storage Ceph。IBM Storage Ceph技术产品经理Gerald Sternagl刚刚在上个月的博文中公布了关于Ceph的后续开发计划，如今IBM存储业务总经理Denis Kennelly又通过简报进一步透露了更多信息。
作为IBM存储业务负责人，Kennelly表示IBM存储收入中约有三分之二来自硬件，三分之一由软件贡献。Kennelly表示，IBM将在2023年扩大了其硬件存储市场份额，特别是高端DS8000阵列和FlashSystem全闪存阵列。那么Ceph销量有没有相应增长？他的回答很简单，“有，当然有。”,IBM Storage目前关注三大重点领域：混合云、AI以及数据恢复/弹性。Ceph在混合云和AI领域均发挥着重要作用，有助于在将非结构化数据引入大语言模型处理系统之前，提供对这些非结构化数据的访问。
IBM的Storage Defender产品与Cohesity长期保持合作关系，得益于对Cohesity-Veritas的收购，蓝色巨人在数据恢复与弹性领域的市场地位也有所增强。从原则上讲，这笔交易将帮助IBM在原本的Veritas客户群体中打开销路。在Kennelly看来，“备份市场显然正迎来一波兼并浪潮。”,回到Ceph，Kennelly认为Ceph充分满足了软件定义存储市场的需求。他表示，“红帽将Ceph、OpenShift与容器技术紧密结合在一起。我们希望通过在商用硬件上运行的完整软件定义存储技术栈来加速这一过程，并考虑采用来自戴尔、HPE、联想、Supermicro等厂商的服务器/存储硬件。”,在过去一年里，IBM通过添加对NVMe/TCP的支持扩展了Ceph的块存储功能，同时提高了产品可用性。Kennelly解释称，对于存储容量需求往往高达100 TB的AI项目，传统SAN方案往往显得捉襟见肘，相应扩展规划可能需要20到30个独立步骤。
他补充道，“在Ceph环境下，用户可以直接将100 TB容量放入单一设备，将其添加至集群当中，而后即可直接使用。”Ceph能够顺利兼容一切。“WatsonX团队也在与Ceph密切合作”，这里的WatsonX是IBM打造的生成式AI平台。
IBM有没有考虑过为Ceph添加GPUDirect支持能力？Kennelly坦言“我们正在考虑这方面需求”，而且IBM Storage已经提供出色的软件，即带有并行文件系统的Storage Scale，能够通过GPUDirect将数据快速传输至GPU服务器。
Kennelly还提到，“Storage Scale支持GPUDirect，我们可以将Scale与运行在底层的Ceph匹配起来。”,Scale还提供AFM可扩展、高性能文件系统缓存层，能够链接至Ceph后端。AFM使用户能够创建从本地Scale集群到独立存储/远程集群间的关联，并定义文件数据位置/流以实现数据自动化管理。用户能够跨全球各地的站点建立起拥有单一命名空间的数据存储视图。
IBM一直在进行Storage Scale基准测试，Kennelly也对测试结果表示满意，强调预计将在今年晚些时候公布结果。Scale-Ceph的基本思路，就是将数据存放在原本的位置，再由IBM对内容进行查询。这与Snowflake和Databricks等厂商“将数据交给我们，再由我们进行查询”的方法有所不同。
Kennelly补充道，“随着市场对于快速查询的需求日益提升，Storage Scale的优势也得到进一步凸显。用户当然可以直接选择NFS，但却永远得不到能够与Scale比肩的性能表现。”,在他看来，“AI即将迎来重大变革，面对这个激动人心的时刻，我们还有很多工作要做。”,而Ceph将在其中发挥强大的基础平台作用。通过作为底层数据存储方案的Storage，Ceph将把自己管理之下的数据交付给运行在GPU服务器当中的大语言模型。