美光放大招：256GBSOCAMM2开启AI内存新时代

3月5日，美光科技股份有限公司近日宣布开始向客户送样业界容量领先的 LPDRAM 模块256GB SOCAMM2，进一步巩固其在低功耗服务器内存领域的领导地位。依托业界首款单晶粒32Gb LPDDR5X设计，这一里程碑式成就为AI 数据中心带来变革性突破，提供足以实现全新系统架构的低功耗内存容量。

AI 训练、推理、代理式 AI 和通用计算的融合，正推动更严苛的内存需求，并重塑数据中心的系统架构。现代 AI 工作负载催生了大模型参数、扩展的上下文窗口及持久性键值缓存的需求，而核心计算则在数据强度、并发性和内存空间方面持续扩展。

面对上述工作负载，内存容量、带宽效率、延迟和能效已成为系统层面的主要瓶颈，直接影响性能、可扩展性和总体拥有成本。LPDRAM 融合上述特性的独特优势，在功耗与散热限制日益严苛的数据中心环境中，成为AI 及核心计算服务器的关键解决方案。美光正与NVIDIA 携手合作，共同设计高性能内存解决方案，以满足先进 AI基础架构的需求。

美光高级副总裁暨云端存储事业部总经理 Raj Narasimhan 表示:“美光 256GB SOCAMM2 为 AI 及高性能计算提供更具能效的 CPU 附加内存解决方案。此次产品发布充分展现出美光在技术与封装领域的突破，打造业界容量领先、低功耗、小尺寸的模块化内存解决方案。美光在数据中心低功耗内存解决方案领域持续保持领先地位，这一独特优势使我们率先推出单晶粒32Gb LPDRAM，协助推动业界加速采用更节能、更高容量的系统架构。”

专为容量、能效和工作负载性能优化而设计

美光的 256GB SOCAMM2 为各种 AI 和通用计算工作负载提供更高的内存容量、更低的功耗，以及更快的性能。

·为AI 服务器扩展内存容量:256GB SOCAMM2 容量较前代最高规格192GB SOCAMM2 提升三分之一，可为每颗8 通道 CPU 提供 2TB LPDRAM 容量，从而支持更大的上下文窗口及更复杂的推理工作负载。

·功耗更低、尺寸更小:与相同容量的 RDIMM 相比，SOCAMM2 的功耗仅为其三分之一，尺寸亦缩减至三分之一，有效提升机架密度并降低总体拥有成本。

·提升推理与核心计算性能:在统一内存架构中，与现有解决方案相比，256GB SOCAMM2 用于 KV 缓存卸载时，可将长上下文、实时 LLM 推理的首个token生成时间加速2.3 倍。在独立 CPU 应用中，针对高性能计算工作负载，LPDRAM 的每瓦性能较主流内存模块提升超3倍。

·易维护、可扩展的模块化设计:模块化 SOCAMM2 设计可提升设备可维护性、支持液冷服务器架构，并能随着 AI与核心计算内存需求的持续增长，实现未来容量扩充。

NVIDIA 数据中心CPU 产品部门主管Ian Finder表示:“先进 AI基础架构需要在各个层面进行极致优化，才能有效应对严苛的 AI 推理工作负载对性能与能效的需求。美光通过256GB SOCAMM2，以低于传统服务器内存的功耗，实现超大内存容量与带宽的突破，为下一代 AI CPU 提供关键助力。”

推动行业标准制定，加速低功耗内存普及

美光在 JEDEC SOCAMM2 规范制定过程中持续发挥领导作用，并维持与系统设计人员的深度技术合作，以推动下一代数据中心平台在能效与性能方面实现全行业性提升。

美光现已面向客户送样256GB SOCAMM2 产品，并提供业界最全面的数据中心 LPDRAM 产品组合，涵盖8GB 至 64GB 组件及 48GB 至 256GB 的 SOCAMM2 模块。