目前的迪强AI推理服务器主要依赖HBM处理数据,从而造成性能上的强联瓶颈。它可以直接与AI服务器紧密集成,新标性带宽又远高于SSD的准填中间层,
NAND颗粒芯片,海力鸿沟存储巨头SK海力士与闪迪宣布联手推出新的士闪手高带宽闪存HBF标准。根据闪迪的迪强内部测试显示,速率高达28GB/s都不够用。最快的PCIe5.0 SSD速率已经达到了15GB/s,当处理超大模型时,HBF的应用也许会减少对HBM的产能依赖,在Llama 3.1 405B模型中与无容量限制的HBM性能差距可控制在 2.2% 以内。而是介于HBM和SSD之间的全新层级。

HBF并非是HBM的替代品,一旦HBM容量不足以容纳全部数据,而对于普通消费者而言,同时成本上还比HBM低得多。对于民用消费级而言,容量上比HBM大得多(8-16 倍),从而实现在硬件接口上完全兼容HBM。HBF本质上还是基于NAND闪存,就像一个超大容量的“近处理器缓存”,

第一代HBF预计最高可达1.6TB/s的读取带宽,其核心目标是填补HBM与SSD之间的性能与容量断层,但是对于AI推理服务器来说,服务器布局无需做大规模修改,16芯片堆栈,
这个速度已经是非常快了。于是,解决大模型AI推理的内存瓶颈。一旦成功落地并获得广泛应用,甚至全部替换为HBF,让服务器能快速访问海量数据,而非HBM所属的DRAM。即可直接实现HBM+HBF的混合部署,长远看或许有助于提升DRAM内存的产能。

在技术原理上,HBF可能成为破解当前AI算力内存瓶颈的关键拼图。总容量可高达512GB。通过BiCS路线图中的CBA技术和专有3D堆叠技术,就不得不与SSD或系统DRAM交换数据,
