2026年3月3日，美光科技（Mciron）宣布通过向客户发售业内最大容量LPDRAM模块——256GB SOCAMM2样品，进一步扩大了其在低功耗服务器内存领域的领先地位。这一里程碑得益于业界首个单体32Gb LPDDR5X设计，代表了AI数据中心的变革性进步，提供低功耗内存容量，解锁新的系统架构。

当然，人工智能训练、推理、代理人工智能和通用计算的融合正在推动更高要求的内存需求，并重塑数据中心系统架构。现代AI工作负载驱动大型模型参数、宽广的上下文窗口和持久键值（KV）缓存，而核心计算则在数据强度、并发性和内存占用方面持续扩展。

在这些工作负载中，内存容量、带宽效率、延迟和能效已成为主要的系统级限制，直接影响性能、可扩展性和总拥有成本。LPDRAM独特的这些特性组合使其成为AI和核心计算服务器在日益耗电和热量受限的数据中心环境中的基石解决方案。美光正与英伟达合作，共同设计满足先进人工智能基础设施需求的高端内存。

“美光的256GB SOCAMM2产品，使AI和高性能计算（HPC）都能实现最节能的CPU附加内存解决方案。今日的宣布凸显了美光在技术和封装方面的进步，旨在提供业内最高容量、最低功耗、体积最小的模块化内存解决方案，”美光云存储业务部高级副总裁兼总经理Raj Narasimhan表示。“我们在数据中心应用低功耗内存解决方案方面的持续领先地位，使我们成为首家推出32Gb单片LPDRAM芯片的厂商，助力推动行业采用更节能、高容量系统架构。”

设计目标是容量、能效和工作负载性能优化

美光的256GB内存SOCAMM2为多种AI和通用计算工作负载提供更高的内存容量、显著更低的功耗和更快的性能。

1、AI服务器内存容量扩展：

256GB SOCAMM2 SOCAMM2比之前最高容量192GB多出三分之一，为每个8通道CPU提供2TB的LPDRAM容量，支持更大的上下文窗口和复杂的推理工作负载。

2、更低功耗和更小的面积占用：

SOCAMM2 与同类 RDIMM 相比，占用了三分之一的功耗，同时仅占用三分之一的占地面积，从而提升机架密度并降低总拥有成本。

3、推理和核心计算性能提升：

在统一内存架构中，256GB SOCAMM2在用于KV缓存卸载时，能将首个令牌时间（TTFT）提升超过2.3倍，用于KV缓存卸载。

基于美光内部测试结果显示，使用Llama3 70B模型（带FP16量化），使用50万上下文长度和16名并发用户进行实时推理。预计TTFT延迟的改进基于每CPU 2TB LPDRAM延迟0.12秒，而每CPU 1.5TB LPDRAM延迟为0.28秒。即便是面对100万上下文长度，具有2TB LPDRAM的系统依然可以提供更快的TTFT。

在独立CPU应用中，LPDRAM在高性能计算工作负载下，每瓦性能比主流内存模块高出3倍以上。

4、模块化设计以提升可维修性和可扩展性：

模块化SOCAMM2设计提升了可维修性，支持液冷服务器架构，并随着AI和核心计算内存需求的不断增长，实现未来容量扩展。

“先进的人工智能基础设施需要在每一层都进行极其优化，以最大化性能和效率以应对高负载的人工智能推理工作负载，”英伟达数据中心CPU产品主管伊恩·芬德表示。“美光在实现大容量内存和带宽方面取得的成就，其功耗低于传统服务器内存，达成了256GB SOCAMM2，正在推动下一代AI处理器的发展。”

推动行业标准并加速低功耗存储器的普及

美光继续在JEDEC SOCAMM2规范定义中发挥领导作用，并与系统设计师保持深度技术合作，推动下一代数据中心平台在全行业范围内提升能效和性能。

△美光内部测试显示，使用256GB LPDRAM模块的Spark SVM的通用服务器可以实现高达4倍的加速。

美光现已开始发货其256GB SOCAMM2的客户样品，并提供业内最广泛的数据中心LPDRAM产品组合，涵盖8GB至64GB组件以及48GB至256GB SOCAMM2模块。